Automate evaluation (llm-jp-eval)

[ytivy]

概要

自動評価スクリプトの自動実行スクリプト作成

• 付随してcovert script自動実行

方針

• crontab コマンド
• Github actions
  • GitHubホストランナー (ssh経由)
  • セルフホストランナー

課題

• クラスタ上でcronjobどこに置くか
  • 特定のユーザ権限に集約して実行
• 対象スクリプトの実行可能性判定
  • llm-jp/automations などのリポジトリでスクリプトを管理

[ytivy]

自動保存されるモデルについて任意のスクリプトを自動実行できるような設計でも良いかもしれない

• モデル削除や転送

[odashi]

パッと考えたんですが、cronを各自が弄るのは怖いので、次の方法でどうでしょうか。

1. 自動実行したいsbatchスクリプトを格納するGitリポジトリを用意する（llm-jp/automationsなど）
2. 自動実行ジョブを追加したい人はpull requestでスクリプトとメタデータ（実行間隔など）を追加する
3. クラスタ側のcronで、特定のユーザ（例えば自分）の権限で定期的に上記リポジトリをcloneし、スクリプトを実行

利点

• 実質cronが必要なのは1件だけなのでクラスタ側での処理が少ない
• 誰でもスクリプトを追加できる
• レビューが入るので比較的安全

欠点？

• 実行するユーザに制約を受ける

[odashi]

Sakuraのクラスタであれば管理者用ノードに上記のcronjobを押し込んでおくことができそうです。

[ytivy]

cronを各自が弄るのは怖い

この辺の発想がなくて思い至ってなかったですが、良さそうですね

（想定内かもしれないですが）クラスタごとに導入するのでフォルダでクラスタごとに区切る感じですかね

[hkiyomaru]

Github で自動実行するジョブを管理するなら，システムの cron を使わず Github actions でやってしまうのもアリかもしれません．

[odashi]

（想定内かもしれないですが）クラスタごとに導入するのでフォルダでクラスタごとに区切る感じですかね

はい、(repository root)/{cluster_name}/{job}.json をメタデータとして置くみたいなのを考えています。

Github Actions

ログインさえできればそれもアリだと思います。ついでにログも残る

[odashi]

SSH鍵の扱いが面倒そうだなと思ったがマケプレにやってくれそうなものが転がっている（こういうのマケプレ信じていいのか…？

[hkiyomaru]

ログインさえできればそれもアリだと思います。

可能だと思います．Settings > Secrets and variables から ssh 鍵を公に晒さずに登録できます．

[odashi]

SSH keyはsecretsに登録（これは大前提）でaction内に持ってくる方法

• 自前でコピーする（できなくはない）
• 適当なマケプレのactionを流用する（楽・怖い）

[hkiyomaru]

マケプレ怖いので，$ echo $SSH_KEY > ~/.ssh/id_ed_25519_llmjp みたいな処理を自前で実行するので良いと思いますけどどうでしょう...．