From b1c176a92d3a4a80a81621fce8398c6d53ff7959 Mon Sep 17 00:00:00 2001 From: Emma-Song <64460989+Emma-Song@users.noreply.github.com> Date: Fri, 3 Jul 2020 17:18:46 +0800 Subject: [PATCH] Merge setup docs from Milvus reference (#8) * updated setup docs * update * delete sudo on mac * delete windows and macOS * update * info to note --- .../install_milvus/cpu_milvus_docker.md | 127 +++++++----------- .../install_milvus/gpu_milvus_docker.md | 88 ++++++------ .../install_milvus/install_milvus.md | 8 +- 3 files changed, 96 insertions(+), 127 deletions(-) diff --git a/site/zh-CN/guides/get_started/install_milvus/cpu_milvus_docker.md b/site/zh-CN/guides/get_started/install_milvus/cpu_milvus_docker.md index 1068af0d7..066801a2a 100644 --- a/site/zh-CN/guides/get_started/install_milvus/cpu_milvus_docker.md +++ b/site/zh-CN/guides/get_started/install_milvus/cpu_milvus_docker.md @@ -4,59 +4,64 @@ title: Install CPU-only Milvus on Docker sidebar_label: Install CPU-only Milvus on Docker --- -# 安装仅需 CPU 的 Milvus +# 安装 CPU 版本的 Milvus ## 安装前提 -#### 操作系统要求 +#### 操作系统 -| 操作系统 | 版本 | -| ---------- | ------------------------------------------------------------ | -| CentOS | 7.5 或以上 | -| Ubuntu LTS | 18.04 或以上 | -| Windows | Windows 10 64-bit:Pro,Enterprise,或 Education 版(Build 15063 或以上) | -| macOS | 10.13 或以上 | +| 操作系统 | 版本 | +| -------------- | ------------------------------------------------------------ | +| CentOS | 7.5 或以上 | +| Ubuntu LTS | 18.04 或以上 | -#### 硬件要求 +#### 硬件 -| 组件 | 建议配置 | +| 硬件 | 建议配置 | | ---- | -------------------------------------- | | CPU | Intel CPU Sandy Bridge 或以上 | | CPU 指令集 |
  • SSE42
  • AVX
  • AVX2
  • AVX512
  • | -| 内存 | 8 GB 或以上 (取决于具体向量数据规模) | +| 内存 | 8 GB 或以上(取决于具体向量数据规模) | | 硬盘 | SATA 3.0 SSD 或以上 | -#### Milvus Docker 要求 +#### 软件 -- 如果使用 Ubuntu 或 CentOS 安装 Milvus,请在你的宿主机上 [安装 Docker](https://docs.docker.com/engine/installation/linux/docker-ce/ubuntu/) 19.03 或更高版本。 -- 如果在 Windows 上安装 Milvus,请安装 [Docker Desktop](https://docs.docker.com/docker-for-windows/install/),并进入 **Settings > Advanced** 调整相关配置。请确保‘可用内存’大于你在 `server_config.yaml` 文件中设置的`insert_buffer_size` 和 `cpu_cache_capacity` 之和。 -- 如果在 macOS 上安装 Milvus,请安装 [Docker Desktop for Mac](https://docs.docker.com/docker-for-mac/install/),并进入 **Preferences > Advanced** 调整相关配置。请确保‘可用内存’大于你在 `server_config.yaml` 文件中设置的`insert_buffer_size` 和 `cpu_cache_capacity` 之和。 +| 软件 | 版本 | +| ------- | -------------------------------------- | +| Docker | 19.03 或以上 | -## 在 Ubuntu/CentOS 上安装 Milvus +
    +请确保可用内存大于你在 milvus.yaml 文件中设置的 cache.insert_buffer_sizecache.cache_size 之和。 +
    -#### 第一步 确认 Docker 状态 +## 确认 Docker 状态 确认 Docker daemon 正在运行: ```shell -$ docker info +$ sudo docker info ``` -如果无法正常打印 Docker 相关信息,请启动 **Docker** daemon. +
    + +
    -> 提示:在 Linux 上,Docker 命令前面需加 `sudo`。若要在没有 `sudo` 情况下运行 Docker 命令,请创建 `docker` 组并添加用户。更多详情,请参阅 [Linux 安装后步骤](https://docs.docker.com/install/linux/linux-postinstall/)。 +## 拉取 Milvus 镜像 -#### 第二步 拉取 Milvus 镜像 - -拉取仅需 CPU 的镜像: +拉取 CPU 版本 的 Milvus 镜像: ```shell -$ docker pull milvusdb/milvus:{{var.cpu_milvus_docker_image_version}} +$ sudo docker pull milvusdb/milvus:{{var.cpu_milvus_docker_image_version}} ``` -> 注意:如果你在拉取镜像时速度过慢或一直失败,请参考[操作常见问题](../../../faq/operational_faq.md)中提供的解决办法。 +
    +如果拉取镜像的速度过慢或一直失败,请参考 操作常见问题 中提供的解决办法。 +
    -#### 第三步 下载配置文件 +## 下载配置文件 ```shell $ mkdir -p /home/$USER/milvus/conf @@ -64,12 +69,16 @@ $ cd /home/$USER/milvus/conf $ wget https://raw.githubusercontent.com/milvus-io/milvus/v{{var.release_version}}/core/conf/demo/server_config.yaml ``` -> 注意:万一你遇到无法通过 `wget` 命令正常下载配置文件的情况,你也可以在 `/home/$USER/milvus/conf` 路径下创建 `server_config.yaml` 文件,然后复制粘贴 [server config 文件](https://github.com/milvus-io/milvus/blob/v{{var.release_version}}/core/conf/demo/server_config.yaml) 的内容。 +
    +如果无法通过 wget 命令下载配置文件,你也可以在 /home/$USER/milvus/conf 目录下创建 server_config.yaml 文件,然后将 server config 文件 的内容复制到你创建的配置文件中。 +
    + +## 启动 Milvus Docker 容器 -#### 第四步 启动 Milvus Docker 容器 +启动 Docker 容器,将本地的文件路径映射到容器中: ```shell -$ docker run -d --name milvus_cpu_{{var.release_version}} \ +$ sudo docker run -d --name milvus_cpu_{{var.release_version}} \ -p 19530:19530 \ -p 19121:19121 \ -v /home/$USER/milvus/db:/var/lib/milvus/db \ @@ -79,20 +88,20 @@ $ docker run -d --name milvus_cpu_{{var.release_version}} \ milvusdb/milvus:{{var.cpu_milvus_docker_image_version}} ``` -上述命令中用到的 `docker run` 参数定义如下: +上述命令中用到的参数定义如下: -- `-d`: 运行 container 到后台并打印 container id。 -- `--name`: 为 container 分配一个名字。 -- `-p`: 暴露 container 端口到 host。 -- `-v`: 将路径挂载至 container。 +- `-d`: 在后台运行容器。 +- `--name`: 为容器指定一个名字。 +- `-p`: 映射宿主机端口到容器。 +- `-v`: 将宿主机路径挂载至容器。 -最后,确认 Milvus 运行状态: +确认 Milvus 运行状态: ```shell -$ docker ps +$ sudo docker ps ``` -如果 Milvus 服务没有正常启动,你可以执行以下命令查询错误日志。 +如果 Milvus 服务没有正常启动,执行以下命令查询错误日志: ```shell # 获得运行 Milvus 的 container ID。 @@ -101,50 +110,6 @@ $ docker ps -a $ docker logs ``` -## 在 Windows 上安装 Milvus - -在 Windows 上安装 Milvus 的步骤和在 Ubuntu/CentOS 上几乎一样,只不过 **第三步** 和 **第四步** 略有不同。 - -在第三步中,不同于使用 `wget` 来获取配置文件,使用 Windows 安装时,建议在 C 盘,或其它合适的位置创建 `milvus` 文件夹,下面包含 `db`,`conf`,`logs` 和 `wal` 等文件夹,然后复制 [server config 文件](https://github.com/milvus-io/milvus/blob/v{{var.release_version}}/core/conf/demo/server_config.yaml) 的内容到你在 `C:\milvus\conf` 路径下创建的`server_config.yaml` 文件中。 - -第四步,启动 Docker 容器,将 Milvus 文件映射到你本地的文件路径。下面的命令是在命令提示符中运行的: - -```shell -$ docker run -d --name milvus_cpu_{{var.release_version}} \ --p 19530:19530 \ --p 19121:19121 \ --v C:\milvus\db:/var/lib/milvus/db \ --v C:\milvus\conf:/var/lib/milvus/conf \ --v C:\milvus\logs:/var/lib/milvus/logs \ --v C:\milvus\wal:/var/lib/milvus/wal \ -milvusdb/milvus:{{var.cpu_milvus_docker_image_version}} -``` - -## 在 macOS 上安装 Milvus - -在 Windows 上安装 Milvus 的步骤和在 Ubuntu/CentOS 上几乎一样,只不过 **第三步** 和 **第四步** 略有不同。 - -第三步,安装路径有细微差别: - -```shell -$ mkdir -p /Users/$USER/milvus/conf -$ cd /Users/$USER/milvus/conf -$ wget https://raw.githubusercontent.com/milvus-io/milvus/v{{var.release_version}}/core/conf/demo/server_config.yaml -``` - -第四步,启动 Docker 容器,将 Milvus 文件映射到你本地的文件路径: - -```shell -$ docker run -d --name milvus_cpu_{{var.release_version}} \ --p 19530:19530 \ --p 19121:19121 \ --v /Users/$USER/milvus/db:/var/lib/milvus/db \ --v /Users/$USER/milvus/conf:/var/lib/milvus/conf \ --v /Users/$USER/milvus/logs:/var/lib/milvus/logs \ --v /Users/$USER/milvus/wal:/var/lib/milvus/wal \ -milvusdb/milvus:{{var.cpu_milvus_docker_image_version}} -``` - ## 接下来你可以 - 如果你刚开始了解 Milvus: diff --git a/site/zh-CN/guides/get_started/install_milvus/gpu_milvus_docker.md b/site/zh-CN/guides/get_started/install_milvus/gpu_milvus_docker.md index bf8e7822b..992951779 100644 --- a/site/zh-CN/guides/get_started/install_milvus/gpu_milvus_docker.md +++ b/site/zh-CN/guides/get_started/install_milvus/gpu_milvus_docker.md @@ -8,70 +8,77 @@ sidebar_label: Install GPU-enabled Milvus on Docker ## 安装前提 -#### 系统要求 +#### 操作系统 -| 操作系统 | 建议版本 | -| ---------- | ------------ | -| CentOS | 7.5 或以上 | -| Ubuntu LTS | 18.04 或以上 | +| 操作系统 | 版本 | +| -------------- | ------------ | +| CentOS | 7.5 或以上 | +| Ubuntu LTS | 18.04 或以上 | -#### 硬件要求 +#### 硬件 -| 组件 | 建议配置 | -| ---- | -------------------------------------- | -| CPU | Intel CPU Sandy Bridge 或以上 | +| 硬件 | 建议配置 | +| ---- | ------------------------------------- | +| CPU | Intel CPU Sandy Bridge 或以上 | | CPU 指令集 |
  • SSE42
  • AVX
  • AVX2
  • AVX512
  • | | GPU | NVIDIA Pascal 或以上 | -| 内存 | 8 GB 或以上 (取决于具体向量数据规模) | -| 硬盘 | SATA 3.0 SSD 或以上 | +| 内存 | 8 GB 或以上(取决于具体向量数据规模) | +| 硬盘 | SATA 3.0 SSD 或以上 | -#### Milvus Docker 要求 +#### 软件 -- 在你的宿主机上安装 [Docker](https://docs.docker.com/engine/installation/linux/docker-ce/ubuntu/) 19.03 或更高版本。 -- 安装 NVIDIA driver 418 或更高版本。 -- 安装 [NVIDIA Docker](https://github.com/NVIDIA/nvidia-docker)。 +| 软件 | 版本 | +| -------------- | -------------------------------------- | +| Docker | 19.03 或以上 | +| NVIDIA driver | 418 或以上 | -## 第一步 确认 Docker 状态 +## 确认 Docker 状态 确认 Docker daemon 正在运行: ```shell -$ docker info +$ sudo docker info ``` -如果无法正常打印 Docker 相关信息,请启动 **Docker** daemon. +
    + +
    -> 提示:在 Linux 上,Docker 命令前面需加 `sudo`。若要在没有 `sudo` 情况下运行 Docker 命令,请创建 `docker` 组并添加用户。更多详情,请参阅 [Linux 安装后步骤](https://docs.docker.com/install/linux/linux-postinstall/)。 - -## 第二步 拉取 Milvus 镜像 +## 拉取 Milvus 镜像 拉取支持 GPU 的镜像: ```shell -$ docker pull milvusdb/milvus:{{var.gpu_milvus_docker_image_version}} +$ sudo docker pull milvusdb/milvus:{{var.gpu_milvus_docker_image_version}} ``` -> 注意:如果你在拉取镜像时速度过慢或一直失败,请参考 [操作常见问题](../../../faq/operational_faq.md) 中提供的解决办法。 - -## 第三步 下载并修改配置文件 +
    +如果拉取镜像的速度过慢或一直失败,请参考 操作常见问题 中提供的解决办法。 +
    -你可以使用以下方法下载配置文件: +## 下载并修改配置文件 ```shell $ mkdir -p /home/$USER/milvus/conf $ cd /home/$USER/milvus/conf -$ wget https://raw.githubusercontent.com/milvus-io/milvus/v{{var.release_version}}/core/conf/demo/server_config.yaml +$ wget http://raw.githubusercontent.com/milvus-io/milvus/v{{var.release_version}}/core/conf/demo/server_config.yaml ``` -> 注意:万一你遇到无法通过 `wget` 命令正常下载配置文件的情况,你也可以在 `/home/$USER/milvus/conf` 路径下创建 `server_config.yaml` 文件,然后复制粘贴 [server config 文件](https://github.com/milvus-io/milvus/blob/v{{var.release_version}}/core/conf/demo/server_config.yaml) 的内容。 +
    +如果无法通过 wget 命令正常下载,你也可以在 /home/$USER/milvus/conf 目录下创建 server_config.yaml 文件,然后将 server config 文件 的内容复制到你创建的配置文件中。 +
    -配置文件下载完成后,你需要将 `server_config.yaml` 中的 `gpu_resource_config` 部分的 `enable` 参数设置为 `true`。 +配置文件下载完成后,你需要将 **server_config.yaml** 中的 `gpu_resource_config` 部分的 `enable` 参数设置为 `true`。 +## 启动 Milvus Docker 容器 -## 第四步 启动 Milvus Docker 容器 +启动 Docker 容器,将本地的文件路径映射到容器中: ```shell -$ docker run -d --name milvus_gpu_{{var.release_version}} --gpus all \ +$ sudo docker run -d --name milvus_gpu_{{var.release_version}} --gpus all \ -p 19530:19530 \ -p 19121:19121 \ -v /home/$USER/milvus/db:/var/lib/milvus/db \ @@ -81,27 +88,24 @@ $ docker run -d --name milvus_gpu_{{var.release_version}} --gpus all \ milvusdb/milvus:{{var.gpu_milvus_docker_image_version}} ``` -上述命令中用到的 `docker run` 参数定义如下: +上述命令中用到的参数定义如下: -- `-d`: 运行 container 到后台并打印 container id。 -- `--name`: 为 container 分配一个名字。 +- `-d`: 在后台运行 container。 +- `--name`: 为 container 指定一个名字。 - `--gpus`: 指定可用的 GPU。如未填写任何值,则所有 GPU 都可用。 -- `-p`: 暴露 container 端口到 host。 -- `-v`: 将路径挂载至 container。 +- `-p`: 映射宿主机端口到 container。 +- `-v`: 将宿主机路径挂载至 container。 最后,确认 Milvus 运行状态: ```shell -$ docker ps +$ sudo docker ps ``` -如果 Milvus 服务没有正常启动,你可以执行以下命令查询错误日志。 +如果 Milvus 服务没有正常启动,执行以下命令查询错误日志: ```shell -# 获得运行 Milvus 的 container ID。 -$ docker ps -a -# 检查 docker 日志。 -$ docker logs +$ sudo docker logs milvus_gpu_{{var.release_version}} ``` ## 接下来你可以 diff --git a/site/zh-CN/guides/get_started/install_milvus/install_milvus.md b/site/zh-CN/guides/get_started/install_milvus/install_milvus.md index 8bef4620b..da6a9dd4d 100644 --- a/site/zh-CN/guides/get_started/install_milvus/install_milvus.md +++ b/site/zh-CN/guides/get_started/install_milvus/install_milvus.md @@ -5,7 +5,7 @@ sidebar_label: Installation Overview --- # 安装概述 -Milvus 在 CPU 或 GPU 环境下都可以运行。若要在 CPU 环境下使用 Milvus,请安装仅需 CPU 的 Milvus。否则,建议安装支持 GPU 的 Milvus 以获取针对海量数据的更优的查询性能。 +Milvus 提供两个发行版本:CPU 版本和 GPU 版本。CPU 版本仅支持 CPU 运算。GPU 版本在 CPU 版本的基础上对部分功能进行了 GPU 加速。如果你的计算机上安装了支持 CUDA 功能的 GPU 设备,建议你安装 Milvus 的 GPU 版本以获取针对海量数据的更优的查询性能。 Milvus 中的向量搜索包含但不限于这两个独立的部分:创建索引过程和搜索计算过程。在支持 GPU 的 Milvus中,这两个过程可以同时进行,提高查询效率,特别适合动态增加的数据。而在仅需 CPU 的 Milvus 中,搜索计算必须在创建索引结束后才能进行,所以更适合静态数据。 @@ -13,8 +13,8 @@ Milvus 中的向量搜索包含但不限于这两个独立的部分:创建索 使用 Docker 启动 Milvus 是最简单且推荐的方法。 -- [安装仅需 CPU 的 Milvus](cpu_milvus_docker.md) -- [安装支持 GPU 的 Milvus](gpu_milvus_docker.md) +- [安装 CPU 版本的 Milvus](cpu_milvus_docker.md) +- [安装 GPU 版本的 Milvus](gpu_milvus_docker.md) ### 离线传输 Docker 镜像和配置文件 @@ -40,7 +40,7 @@ Milvus 中的向量搜索包含但不限于这两个独立的部分:创建索 ## 从源代码编译 -请参考[从源代码编译 Milvus](https://github.com/milvus-io/milvus/blob/master/INSTALL.md)了解如何从源代码编译。 +请参考[从源代码编译 Milvus](https://github.com/milvus-io/milvus/blob/master/INSTALL.md)。 ## 接下来你可以