Wenyuan Dogfooding progress

[wenyuanyu]

Task 1: 在本地试用 GraphScope

• 安装 GraphScope
• 载入 ogbn_mag 内置图
• Project ogbn_mag到一个简单图，选择点标签为 paper, 边标签为 cites, 属性都为空。
• 在简单图上运行一个 Kcore 算法, 并打印结果为 pandas.DataFrame
• 在 ogbn_mag图上启动交互引擎 （Interactive）
• 通过 gremlin 计算图有多少点，边
• 对于 ogbn_mag图，使用 learning 定义并执行一个 GCN 训练过程，可参考 CI 或文档中定义的过程
• 退出 GraphScope。
  

Task 2: 在本地开发调试 GraphScope

• 通过 vineyardd直接启动 vineyard
• 从源代码编译 Analytical Engine，找到编译出的binary grape_engine， 通过 grape_engine直接运行 analytical_engine，然后退出 grape_engine 进程
• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc)，并重新编译，启动并找到新添加的日志
• 从源代码编译 Interactive Engine，找到编译出的 frontend-x-SNAPSHOT.jar和 gaia_executor,直接运行这个 jar 包和这个 gaia_executor，使 frontend 能够连接到 executor。
• 了解 Frontend 和 Executor 的代码位置和组织结构，为 GIE 的 Frontend (interactive_engine/frontend/src/main/java/com/alibaba/graphscope/frontend/Frontend.java) 和 executor (interactive_engine/executor/assembly/v6d/src/bin/gaia_executor.rs) 各添加一条日志，并重新编译，启动并找到新添加的日志
• 从源代码编译 Learning Engine, 找到 libgraphlearn_shared.so
• 使用 setup.py 安装 coordinator 和 client。 注意因依赖关系， client 安装要在 coordinator 之前
• 继续安装 GAE，GIE，和 GLE 到预设安装目录。（上一步只有编译。相当于 make 和 make install 的区别）
• 找到 Client， Coordinator， GAE，GIE 和 GLE 的安装位置目录
• 若一切正常，这时你能通过 python 拉起 graphscope。启动python，import graphscope 并载入一个内置 modern_graph 图，在图上启动图交互引擎，发送一个查所有点的语句。
• 退出 graphscope
  

Task 3: 运行本地测试

• 找到 CI 定义的位置和文件
• 找到单元测试的位置，参考在 CI 中是如何运行这些单元测试的步骤，并在本地运行CI上的本地测试 （如果没有，可开 Issue 加入运行）
• GAE 的单元测试
• GIE 的单元测试
• GLE 的单元测试
• 运行一组 Python 中的单元测试 test_min.py 。（Python 中的单元测试更像是集成测试，因为往往由多个引擎参与）
• 在 python/graphscope/tests/minitest下新增一个test 文件，在里面添加一个涉及多个引擎的测试，其中要包括载入一张 ogbn_mag 图，打印 Kcore 算法结果，通过 Gremlin 查询图的点边数量，执行 GCN 训练。
  

Task 4: 在 Kubernetes 上使用 GraphScope （Python SDK）

• 通过客户端在 K8S 环境下安装 Graphscope，建立一个 Session，通过 kubectl 查看拉起来的 Pod 和 Service （可通过 minikube/kind 在单机搭建 K8S 环境）
• 通过载图 API 载一个图 ogbn_mag
• 在图上运行一个 LPA 算法，并打印结果为 pandas.DataFrame
• 在图上启动交互引擎 （Interactive）
• 通过 gremlin 计算图有多少点，边
• 使用 learning 定义并执行一个 GCN 训练过程
• 关闭 Session

Task 5: 在 Kubernetes 上使用 GraphScope （Helm）

• 通过 Helm 安装 GraphScope，并载图，运行算法，Gremlin 和 Learning

Task 6: 独立部署

• 独立部署 GAE，并载图 modern_graph，运行 LPA 算法
• 独立部署 GIE，发送 gremlin 查询点边数量
  

Task 7: 打包镜像与了解 Kubernetes 上运行的基本概念

• 构建 GAE 的镜像
• 构建 GIE 的镜像 （包括 Frontend 和 Executor）
• 构建 GLE 的镜像
• 构建 Coordinator 的镜像
• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc) 并重新构建镜像，在不使用 docker push的情况下，使用新的镜像启动并在日志中可以找到新添加的日志 （使用 registry 和 tag 来选择使用哪个镜像）
• 为 GIE 的 Frontend (interactive_engine/frontend/src/main/java/com/alibaba/graphscope/frontend/Frontend.java) 和 executor (interactive_engine/executor/assembly/v6d/src/bin/gaia_executor.rs) 各添加一条日志 并重新构建 Frontend 和 Executor 镜像，在不使用 docker push的情况下，使用新的镜像启动并可以找到新添加的日志
• 为 Coordinator 添加一个异常 (coordinator/gscoordinator/coordinator.py)，并重新构建 Coordinator 镜像。启动并找到异常的报错。（日志在控制台中或者在 Coordinator Pod 的日志中）
• 清除所有 GraphScope 的资源，包括镜像，容器。
  

Task 8: 运行 K8S 上的测试

• 找到在 Kubernetes 上运行的测试，找到在 CI 中是如何运行这些单元测试的
• 参考 CI 的步骤，运行 test_demo_scripts.py 中的 test_demo_distribute 测试
• 尝试添加一个在 Kubernetes 上运行的测试，并运行。其中要包括载入一张 ogbn_mag 图，打印 Kcore 算法结果，通过 Gremlin 查询图的点边数量，执行 GCN 训练。

---

Advance 部分

Task 9 : 打包为 Wheel 包

• 从源码构建 Python graphscope-client Wheels
• 从源码构建 Python graphscope wheels
• 安装构建出的 Wheel

[wenyuanyu]

workaround the aiohttp problem with pip3 install gremlinpython==3.6.3rc1 with sudo ....

[wenyuanyu]

sudo because it wanna change /usr/local/LICENSE ?!!!!

[siyuan0322]

You could add --user to avoid it being installed to system location.

[wenyuanyu]

yeah... I wonder if this issue can be fixed upstream in the gremlinpython project

[wenyuanyu]

from graphscope.dataset import load_ogbn_mag takes ages....
Is it possible to give user some hint that it takes a long time?

[siyuan0322]

Typically it won't take too much time 😂

[siyuan0322]

It takes some time for first launching of grape_engine/vineyard in mac.
The most time-comsuing part in your case needs further investigation.

[wenyuanyu]

you are right...

[wenyuanyu]

TODO: investigate why?

[wenyuanyu]

It also takes forever...

[sighingnow]

Fixed by #2650

[wenyuanyu]

1. Give a link to doc in error msg？Troubleshooting？
2. Getting started message：what is a selector？what does {'tc': 'r'} mean? - not very intuitive for end-users

[wenyuanyu]

@yecol

[wenyuanyu]

follow v6d's getting started, using python3 -m vineyard, however on mac it requires create the socket under /var/run, which requires root privilege, not very intuitive for a python module. @sighingnow

[sighingnow]

Fixed by v6d-io/vd#1354.