BACK
2024-03-21
NemoLLM
NemoLLMを動かすべく、奮闘中の日々。
中、ということは、現時点では動いていない、ということですが、、、
だんだん辛くなってきたのでセーブポイント。
Nemo Frameworkは生成AIの推論と訓練を１パッケージで利用できる（はず）のフレームワークです。
なんかガードレールとかも入ってるらしい。
しかもDockerイメージもあり、これは便利！ と思い、トライしているのですが、
コンテナは入ったものの、起動してもドライバがないよ！と怒られる。
可能性としては
- コンテナ用ドライバが実は入っていない（これはコマンドで調べた感じは問題なさそう
- コンテナ用ドライバのバージョンが非対応（対応バージョンが書いてない、、
- 起動オプションが必要（ありえそうだが、見つけられない、、
どうもGDX(nVIDIAのクラウド)で使うためのもので、
それ以外は公開しているけど自助努力で頼む、な空気を感じている、、
（木の精かもしれないが）
道筋は今のところこんな感じ。
1. サーバーを借りる
2. イメージをダウンロード
3. 起動（できず
サーバーは、下記の選択肢があったが、GPUそろばんに落ち着いた。
- GPUそろばん
- T4(16GB)
- 50円/H
- 停止中は無課金
- コンテナ用ドライバセットアップ済み
- 借りる時に空きマシンが無いと起動できない
- ConoHA for AI
- L4(24GB)
- 169円/H
- テンプレートがある
- 課金を止めるにはサーバを削除する必要あり(VPSだから？)
- 要審査(1day)
- Compute Engine(GCP)
- T4(16GB)
- $0.4/H(スペック次第)
- ドライバはセットアップ済み？
- 停止中は微課金？
Comments
げ
あと、そもそもT4に対応していない、という可能性もある。
どこかで、RTX4x以上、と書かれていたので、対応コアが割と新しいものだけという可能性あり。
しかし、全部英語なので、Geminiに助けてもらいながら解読中、、、
コンテナってREADMEとか無いのだろうか
げ
お金があればローカルにPC買ってドーンしたい！
げ
NemoLLM使ってる日本人居ないかな、、、日本語資料きぼん
げ
あと、GPUそろばんの管理画面は割としっかりしていて、好印象。
UIもいいし、請求アラートとかもある。
こういう細かいところも、やっぱり重要だよなぁ。サービス比較的に。
偉い人に説明しづらいけど、、、
げ
GPUそろばんのインスタンスが空かない、、
結局GCPで借りるしか無いのだろうか。
げ
コンテナタイプはH100とA100しか対応していないってこと？
https://docs.nvidia.com/nemo-framework/user-guide/latest/deployingthenemoframeworkmodel.html#supported-model-and-gpus
げ
Nemo gardrails
https://qiita.com/mana-murakami/items/336711f7d761a0b2368d
げ
あれ、M1対応している？
https://github.com/NVIDIA/NeMo?tab=readme-ov-file#mac-computers-with-apple-silicon
げ
nemoのユーザーガイド
PDFでDLできる。
https://docs.nvidia.com/deeplearning/nemo/user-guide/docs/en/main/core/neural_modules.html
げ
M1は学習には対応してなかったtt
まあ、仕方ないが、、
げ
なんかGPUそろばんのアクセスサーバが不安定だな、、、（汗
BACK