diff --git a/_config.yml b/_config.yml index 7fe6bdb..b83806a 100644 --- a/_config.yml +++ b/_config.yml @@ -28,6 +28,7 @@ baseurl: "/evaluation" # the subpath of your site, e.g. /blog url: "https://swallow-llm.github.io" # the base hostname & protocol for your site, e.g. http://example.com twitter_username: jekyllrb github_username: jekyll +cover_image: assets/cover_bar.png # Build settings theme: minima diff --git a/_data/ui.yml b/_data/ui.yml index e188edd..d041e6a 100644 --- a/_data/ui.yml +++ b/_data/ui.yml @@ -1,4 +1,6 @@ en: + title: "Japanese LLM Evaluation" + description: This site visualizes the results of LLM evaluations conducted within the Swallow project, including bar graphs, radar charts, and scatter plots. We hope that this site will be useful not only as information for selecting the right LLM for your application, but also as reference information for the development of LLMs that are strong in Japanese. site: "Japanese LLM Evaluation 🔗" model: "Model" type: "Type" @@ -35,6 +37,8 @@ en: reference: Reference ja: + title: "日本語LLM評価" + description: このサイトでは、Swallowプロジェクト内で実施されたLLMの評価結果を棒グラフやレーダーチャート、散布図などで閲覧できます。用途にあったLLMを選択するための情報としてだけでなく、日本語に強いLLMの開発のための参考情報としてお役に立てると幸いです。 site: "日本語LLM評価 🔗" model: "モデル" type: "種別" diff --git a/_includes/head.html b/_includes/head.html index 48fe651..f579b80 100644 --- a/_includes/head.html +++ b/_includes/head.html @@ -1,9 +1,22 @@ +{% assign ui = site.data.ui[page.lang] | default: site.data.ui.en %} + - + -Japanese LLM Evaluation +{{ ui.title }}{% if page.title %} - {{ page.title }}{% endif %} + + + + + + + + + + + diff --git a/about.en.md b/about.en.md index dc7deda..1fc1a6d 100644 --- a/about.en.md +++ b/about.en.md @@ -1,4 +1,5 @@ --- +title: About evaluation lang: en layout: about diff --git a/about.ja.md b/about.ja.md index 0ca67d3..535b47b 100644 --- a/about.ja.md +++ b/about.ja.md @@ -1,4 +1,5 @@ --- +title: 評価について lang: ja layout: about @@ -240,7 +241,7 @@ tools: ### 評価の実行環境が多様 -Swallowプロジェクトでは、大規模言語モデルの評価のため、AI Bridging Clud Infrastructure (ABCI) のAノード(NVIDIA A100)の他、東京工業大学のTSUBAME 4.0 (NVIDIA H100)、岡崎研究室内の計算サーバ(NVIDIA RTX A6000)、横田研究室内の計算サーバ(NVIDIA ???)が使われています。まとまった大規模なGPU計算資源は大規模言語モデルの学習に割り当てることになりますので、モデルの評価は学習環境の予備ノードや、クラウド計算環境の通常利用枠、研究室内の計算資源などでやりくりをします。さらに、規模の異なる多数のモデルに対して、19~27個のタスクで評価を行いますので、評価実験は8名くらいの学生で分担しています。したがって、計算環境と評価者の掛け算で、20~30個の評価環境が使われることになります。 +Swallowプロジェクトでは、大規模言語モデルの評価のため、AI Bridging Clud Infrastructure (ABCI) のAノード(NVIDIA A100)の他、東京工業大学のTSUBAME 4.0 (NVIDIA H100)、岡崎研究室内の計算サーバ(NVIDIA RTX A6000)、横田研究室内の計算サーバ(NVIDIA A100, RTX 6000 Ada, A6000など)が使われています。まとまった大規模なGPU計算資源は大規模言語モデルの学習に割り当てることになりますので、モデルの評価は学習環境の予備ノードや、クラウド計算環境の通常利用枠、研究室内の計算資源などでやりくりをします。さらに、規模の異なる多数のモデルに対して、19~27個のタスクで評価を行いますので、評価実験は8名くらいの学生で分担しています。したがって、計算環境と評価者の掛け算で、20~30個の評価環境が使われることになります。 ### (J)HumanEvalの評価にdocker環境が必要 diff --git a/index.en.html b/index.en.html index 10c4c7c..ce81ebb 100644 --- a/index.en.html +++ b/index.en.html @@ -1,4 +1,5 @@ --- +title: Overall lang: en layout: default views: diff --git a/index.ja.html b/index.ja.html index 16171c8..573df7a 100644 --- a/index.ja.html +++ b/index.ja.html @@ -1,4 +1,5 @@ --- +title: 総合 lang: ja layout: default views: diff --git a/scatter.en.html b/scatter.en.html index eecd4cb..58efd62 100644 --- a/scatter.en.html +++ b/scatter.en.html @@ -1,4 +1,5 @@ --- +title: Scatter lang: en layout: default views: diff --git a/scatter.ja.html b/scatter.ja.html index 0221454..1be13b8 100644 --- a/scatter.ja.html +++ b/scatter.ja.html @@ -1,4 +1,5 @@ --- +title: 散布図 lang: ja layout: default views: diff --git a/task-avg.en.html b/task-avg.en.html index 21b2148..64b9d17 100644 --- a/task-avg.en.html +++ b/task-avg.en.html @@ -1,4 +1,5 @@ --- +title: Task+Overall lang: en layout: default views: diff --git a/task-avg.ja.html b/task-avg.ja.html index 7edc86b..419a1e4 100644 --- a/task-avg.ja.html +++ b/task-avg.ja.html @@ -1,4 +1,5 @@ --- +title: タスク+総合 lang: ja layout: default views: diff --git a/task.en.html b/task.en.html index ae0839e..91a8efc 100644 --- a/task.en.html +++ b/task.en.html @@ -1,4 +1,5 @@ --- +title: Task lang: en layout: default views: diff --git a/task.ja.html b/task.ja.html index cfed3b2..73fd2f3 100644 --- a/task.ja.html +++ b/task.ja.html @@ -1,4 +1,5 @@ --- +title: タスク lang: ja layout: default views: