電脳農場

最近は専らローカルLLMで遊んでいます。
macだとOllamaを利用することで簡単に動作させることができるので重宝しています。
もちろんChatGPT筆頭に色々なサービスが公開されていますが、無料で利用出来て外部に情報がでないものだと結構選択肢がない感じです。

LLMの種類だと、最近公開されたgemma3を利用しています。後はdeepseekの派生やllama3の派生でしょうか。
一般的な知識部分であればgemma3が結構使いやすい感じでした。

ローカルLLMだと基本GPU駆動でVRAM8GB位はほしい感じですが、macの場合ユニファイドメモリーになっているのでMacbookAirでも16GBのメモリーがあれば快適に動作しています。
学習モデルのサイズは3GBくらいのものであれば問題ありませんが、8GBくらいのサイズになってくると16GBくらいのメモリーが無いと厳しいです。

もしローカルでLLMを動かしたい場合は多めのメモリーを搭載したPCを用意するのがいいかと思います。
WindowsPCであればVRAM16GB以上はほしいところです。理想はRTX5090ですけど在庫が全然ないのでまだ手が出せないです。

Ollamaを利用するとターミナルで利用することになりますが、OpenUIを利用すればChatGPTに似たUIを利用してLLMを操作することができるので便利です。dockerで起動するだけなので簡単です。

AIの世界はテキストを生成する以外にも、画像や動画の生成まで可能なのでアレコレ試してみるつもりです。
せっかくAI用にグラボを買ったので生かせるコンテンツを生成したいところです。