M1 Macユーザについに光明きた。
NVIDIAでなければPCにあらずな2023年でしたが？、
LLMを動かすのはメモリ量が一番のネックなので、
内蔵グラフィックであれば共有メモリなので動くのではないかと思いつつ試していなかった今日この頃。
そんな日々でしたが、
LM StudioというソフトであればGUIで動くので楽ちんとのことで、さっそく試してみました。
で、実際動いています。
動く気がしなかった（ぉ）ので、非常にミニなllamaの7Bの2bitモデルですが、
割とまともな受け答えができる上に、レスポンス速度もGPT4くらいでは返ってきます。
メモリは4GB強使っています。もうちょっと上のモデルでもいけるか、、、？
操作も
1. モデルのダウンロード
2. チャット画面でモデルを選んで開始&It Works
と非常に簡単。
動かないモデルはダウンロード前にオレンジで表示されるのもGood。
これはお手軽に楽しめる、、、
まあGPT4を個人契約してしまったのですが（汗
外資に円を吸われるよろこび、、
GPT4はとても賢いので、なんど聞いても怒らない先生として、
英語や数学を教えてもらおう、、、
GPT4で数式はちょっと面倒そうだけど。