diff --git a/_config.yml b/_config.yml
index 7fe6bdb..b83806a 100644
--- a/_config.yml
+++ b/_config.yml
@@ -28,6 +28,7 @@ baseurl: "/evaluation" # the subpath of your site, e.g. /blog
url: "https://swallow-llm.github.io" # the base hostname & protocol for your site, e.g. http://example.com
twitter_username: jekyllrb
github_username: jekyll
+cover_image: assets/cover_bar.png
# Build settings
theme: minima
diff --git a/_data/ui.yml b/_data/ui.yml
index e188edd..d041e6a 100644
--- a/_data/ui.yml
+++ b/_data/ui.yml
@@ -1,4 +1,6 @@
en:
+ title: "Japanese LLM Evaluation"
+ description: This site visualizes the results of LLM evaluations conducted within the Swallow project, including bar graphs, radar charts, and scatter plots. We hope that this site will be useful not only as information for selecting the right LLM for your application, but also as reference information for the development of LLMs that are strong in Japanese.
site: "Japanese LLM Evaluation 🔗"
model: "Model"
type: "Type"
@@ -35,6 +37,8 @@ en:
reference: Reference
ja:
+ title: "日本語LLM評価"
+ description: このサイトでは、Swallowプロジェクト内で実施されたLLMの評価結果を棒グラフやレーダーチャート、散布図などで閲覧できます。用途にあったLLMを選択するための情報としてだけでなく、日本語に強いLLMの開発のための参考情報としてお役に立てると幸いです。
site: "日本語LLM評価 🔗"
model: "モデル"
type: "種別"
diff --git a/_includes/head.html b/_includes/head.html
index 48fe651..f579b80 100644
--- a/_includes/head.html
+++ b/_includes/head.html
@@ -1,9 +1,22 @@
+{% assign ui = site.data.ui[page.lang] | default: site.data.ui.en %}
+
-
+
-
Japanese LLM Evaluation
+{{ ui.title }}{% if page.title %} - {{ page.title }}{% endif %}
+
+
+
+
+
+
+
+
+
+
+
diff --git a/about.en.md b/about.en.md
index dc7deda..1fc1a6d 100644
--- a/about.en.md
+++ b/about.en.md
@@ -1,4 +1,5 @@
---
+title: About evaluation
lang: en
layout: about
diff --git a/about.ja.md b/about.ja.md
index 0ca67d3..535b47b 100644
--- a/about.ja.md
+++ b/about.ja.md
@@ -1,4 +1,5 @@
---
+title: 評価について
lang: ja
layout: about
@@ -240,7 +241,7 @@ tools:
### 評価の実行環境が多様
-Swallowプロジェクトでは、大規模言語モデルの評価のため、AI Bridging Clud Infrastructure (ABCI) のAノード(NVIDIA A100)の他、東京工業大学のTSUBAME 4.0 (NVIDIA H100)、岡崎研究室内の計算サーバ(NVIDIA RTX A6000)、横田研究室内の計算サーバ(NVIDIA ???)が使われています。まとまった大規模なGPU計算資源は大規模言語モデルの学習に割り当てることになりますので、モデルの評価は学習環境の予備ノードや、クラウド計算環境の通常利用枠、研究室内の計算資源などでやりくりをします。さらに、規模の異なる多数のモデルに対して、19~27個のタスクで評価を行いますので、評価実験は8名くらいの学生で分担しています。したがって、計算環境と評価者の掛け算で、20~30個の評価環境が使われることになります。
+Swallowプロジェクトでは、大規模言語モデルの評価のため、AI Bridging Clud Infrastructure (ABCI) のAノード(NVIDIA A100)の他、東京工業大学のTSUBAME 4.0 (NVIDIA H100)、岡崎研究室内の計算サーバ(NVIDIA RTX A6000)、横田研究室内の計算サーバ(NVIDIA A100, RTX 6000 Ada, A6000など)が使われています。まとまった大規模なGPU計算資源は大規模言語モデルの学習に割り当てることになりますので、モデルの評価は学習環境の予備ノードや、クラウド計算環境の通常利用枠、研究室内の計算資源などでやりくりをします。さらに、規模の異なる多数のモデルに対して、19~27個のタスクで評価を行いますので、評価実験は8名くらいの学生で分担しています。したがって、計算環境と評価者の掛け算で、20~30個の評価環境が使われることになります。
### (J)HumanEvalの評価にdocker環境が必要
diff --git a/index.en.html b/index.en.html
index 10c4c7c..ce81ebb 100644
--- a/index.en.html
+++ b/index.en.html
@@ -1,4 +1,5 @@
---
+title: Overall
lang: en
layout: default
views:
diff --git a/index.ja.html b/index.ja.html
index 16171c8..573df7a 100644
--- a/index.ja.html
+++ b/index.ja.html
@@ -1,4 +1,5 @@
---
+title: 総合
lang: ja
layout: default
views:
diff --git a/scatter.en.html b/scatter.en.html
index eecd4cb..58efd62 100644
--- a/scatter.en.html
+++ b/scatter.en.html
@@ -1,4 +1,5 @@
---
+title: Scatter
lang: en
layout: default
views:
diff --git a/scatter.ja.html b/scatter.ja.html
index 0221454..1be13b8 100644
--- a/scatter.ja.html
+++ b/scatter.ja.html
@@ -1,4 +1,5 @@
---
+title: 散布図
lang: ja
layout: default
views:
diff --git a/task-avg.en.html b/task-avg.en.html
index 21b2148..64b9d17 100644
--- a/task-avg.en.html
+++ b/task-avg.en.html
@@ -1,4 +1,5 @@
---
+title: Task+Overall
lang: en
layout: default
views:
diff --git a/task-avg.ja.html b/task-avg.ja.html
index 7edc86b..419a1e4 100644
--- a/task-avg.ja.html
+++ b/task-avg.ja.html
@@ -1,4 +1,5 @@
---
+title: タスク+総合
lang: ja
layout: default
views:
diff --git a/task.en.html b/task.en.html
index ae0839e..91a8efc 100644
--- a/task.en.html
+++ b/task.en.html
@@ -1,4 +1,5 @@
---
+title: Task
lang: en
layout: default
views:
diff --git a/task.ja.html b/task.ja.html
index cfed3b2..73fd2f3 100644
--- a/task.ja.html
+++ b/task.ja.html
@@ -1,4 +1,5 @@
---
+title: タスク
lang: ja
layout: default
views: