Qwen3.6 27BやGemma4 26Bを使っていたのですが、他のAIモデルにも興味が出てきました。
どちらも賢くて面白かったのですが、メモリ使用量が気になりました。
私の環境はMac Studio M1、メモリ32GB。
重いモデルを動かしていると、メモリ使用率が90％を超えることもありました。
ひどい時は97％近くまで使っていました。
普通に動くのですが、
「これ大丈夫なのかな？」
と少し不安になります。
そこで試してみたのがQwen、Gemmaの軽量モデルでした。
Qwen3.5 9Bを入れてみた
最初に試したのはQwen3.5 9Bです。
正直なところ、
「軽いモデルって性能もかなり落ちるんじゃないの？」
とか何も知識がないど素人ですが勝手に思っていました。
ところが実際に使ってみると、予想よりずっと快適で、受け答えもまともでした。
まず反応が速い。
質問すると複雑でない質問であれば比較的すぐに返事が返ってきます。
大きなモデルを使っていた時の待ち時間と比べてかなりストレスが減りました。
それでも軽くしたQwen3.5 9bでも、まだちょっと遅いと感じました。
次はGemma4 E4B
さらにGemma4 E4Bも試してみました。
こちらはもっと驚きました。
Qwen3.5 9Bもそこそこ軽くて速かったのですが、Gemma4 E4Bの方はかなり早かった。
返答も速い。ネットで使ってるchatGPTとかに匹敵するぐらい早い。
会話も普通に成立します。
正直、
「これで十分じゃない？」
と思いました。
もちろん大きなモデルの方が賢い場面もあると思います。
でも普段の会話なら全く問題ありません。
メモリ使用量もかなり違った
特に驚いたのはメモリ使用量です。
重いモデルを使っていた頃は90％を超えることもありました。
97％近くまで使っていたこともあります。
それが軽量モデルにすると70％前後になりました。
その中でも、体感ではQwenよりGemmaの方がメモリに余裕があるように感じました。
数字を細かく測ったわけではありませんが・・・
でもMac全体に余裕ができた感じがありました。
gemma4 26b使って、応答を待ってる時ブラウザを使ってたら、結構カクつく事があったんですが、
gemma4 e4bではそれがなくなりました。
何時間待っても反応がなかった日
ローカルLLMを使っていて、重いモデルにそれなりに複雑な質問をした時のことです。
AIは考え始めました。
私は待ちました。
30分。
1時間。
それでも終わりません。
「難しい質問だったのかな？」
と思いながら待ち続けます。
半日待っても考え中・・・その時の自分は無知だったのでずっと放置してましたw
さすがにおかしいと思ったけどね〜
壊れたわけではなかった。。。無知って怖いね
その時の私は、ハルシネーションという現象、言葉を知りませんでした。
だから、
「AIが頑張って考えているんだろう」
くらいに思ってたんだけど。今思うとかなりばかでしたねwww
結局、アプリを終了して再起動。
そしてもう一度同じ質問をしてみます。
すると今度はすぐに返事が返ってきました。
「あれーーー？」
となりました。
後からネットで調べてみると、ハルシネーションや処理の異常で止まってしまうこともあるそうです。
その時初めて知りました。無知って嫌ですね〜(^_^;)
ローカルLLMど素人の私が思ったこと
ローカルLLMは、大きいモデル＝正義・小さいモデル=バカ（笑）
だと思っていました。
でも実際に使ってみると全然そんな事なく、軽いモデルでも十分使えます。
むしろストレスなく快適に使えることの方が大事。
待ち時間は結構ストレス溜まりますよね〜。
例えるなら、電波状態の悪いところで、
スマホでWEBサイト見るときにバーは少しずつ動いてるのに、画面は真っ白のまま待ってる感じです
自分のように初心者でPCのパワーが物足りない人であれば、
まずは軽量モデルから試してみるのもおすすめです。全然普通なので。
実際にいろんなAIを使って自分で体験してみてください。
次回予告
ローカルLLMに慣れてきた頃、
私はさらに面白そうなものを見つけました。
それが「AIエージェント」です。
AIが自分で考えて動く。
最初に聞いた時は、
「何それ？」
という感じでした。
次回は、Hermes Agentとの出会いについて書こうと思います。
コメント