ローカルLLMを無事に動かせるようになった私ですが、すぐに次の悩みが出てきました。
それは、
「結局どのAIモデルを使えばいいの？」
ということです。
調べてみると、
- Qwen
- Gemma
- Llama
- Mistral
など、たくさんの名前が出てきます。
初心者の私は、
「みんな何を基準に選んでるんだろう？」
という状態でした。
最初に使ったのはQwen3.6 27B
最初に試したのはQwen3.6 27Bです。
YouTubeでもよく紹介されていて、
「とりあえずこれを入れておけばいいかな」
くらいの軽い気持ちでした。
実際に使ってみると、かなり賢い印象でした。
質問にもちゃんと答えてくれます。
ただ、私の環境では少し気になることがありました。
それは返答速度です。
私のMacはMac Studio M1、メモリ32GBです。
普通に使えるのですが、
「こんにちは」
と入力しても少し待つことがあります。
長めの質問をすると、さらに待つこともありました。
もちろん使えないわけではありません。
ただ、
「もう少しサクサク動いてくれたらなぁ」
と思うようになりました。
次にGemma4 26Bを試してみた
そこで次に試したのがGemma4 26Bです。
正直なところ、
「また重いのかな？」
と思っていました。
Gemma4 26bのインストールも簡単でした。ターミナルから
ollama run gemma4:26bと入力するだけ。Qwenの時と同じように勝手にインストールが始まって、
しばらく待ってたら使えるようになります。
Gemma4ですが実際に使ってみるとQwenと印象が違いました。
まず感じたのが、
「あれ？もう？めっちゃ返事が早い！」
Qwenの事が印象に残っているので２分ぐらい待つ気持ちでいたんだけど
１分もかからなく返事が返ってきました！
Qwenより反応が全然速く、受け答えも普通。
さらにMacのメモリ使用量も少ないように感じた。
もちろん厳密に測定したわけではありません。
でも初心者でど素人の自分が使った感覚では、
Gemmaの方が余裕を持って動いているように感じたんです。
同じAI（厳密に言ったら違うけど）でもこうも違うんだなって感じました。
結局どっちが良かったの？
ここで困ったことが発生！！何かというと
Qwenも悪くありません。
むしろ賢い。たまに漢字の表現がおかしくなることがありますが・・・
でもGemmaも使いやすい。そして早い！
Qwenを使ったり、
Gemmaを使ったり、
同じ質問をしたりして行ったり来たりしていました。
使えば使うほどわからなくなり、結局、
「どっちを使えば正解なんだろう？」
と悩み始めます。
LLMど素人が思ったこと
ローカルLLMを始めた頃の私は、
「最強モデルを探さなきゃ」
と思っていました。
でも実際に使ってみると違いました。何が最強なのかわからないしねw
使っていて一番思ったことは、
自分のパソコンでストレスなく快適に動くこと
だったんです。
どれだけ評判が良くても、
待ち時間が長いと使わなくなります。
なのでQwenは普通の質問には使わなくなっていきました。
逆に少し性能差があっても、
気軽に使える方が結果的によく使います。
少なくとも今の私はそう感じています。
今だから思うこと
最初は、
「おすすめモデルは？有料に勝つモデルはどれか？」
ばかり調べていました。
でも実際に触って使ってみると、
人によって好みが違うことが分かりました。
だから今なら、
まずは気になるモデルを入れてみる。
そして自分で試してみる。
それが一番だと思っています。
ローカルLLMの面白さは、気軽にモデルを入れ替えて試せるところにもあるのかもしれません。
次回予告
賢くて重いモデルもいいんですが、
やっぱり待ち時間がちょっとストレスになってきました。
そこで軽量モデルも試してみることに。
正直、
「軽いモデルなんてたいしたことないんでしょ！？」
なんて思っていたのですが…。
完全に思い込みでした（笑）無知って嫌ですね〜
次回は、Qwen3.5 9BとGemma4 E4Bを試した感想を書こうと思います。
コメント