今回のお題ですが筆者の環境はHackintoshではありますが、Intel CPUのMacでも同様の話になりますね。

現在ローカル生成AIを快適に動かすには、GPU、それもNVidiaのチップを積んだGPUが必要です。
それはローカルLLMの裏で動くPytorchなどを動かすのにCUDAが必要になっているからですね。

しかし、ここで問題になるのが、Intel MacやHackintosh環境では、GPUがNvidia製でなければならないという点です。

特にMac環境では、公式にサポートされているGPUがAMD製のRadeonシリーズに限られており、Nvidia製のGPUは動きません。（古いGPUならば特殊な設定や非公式なドライバで対応可能ですが、比較的新しいGPUでは動作は無理でしょう。）これが、Intel MacやHackintosh環境でのローカルLLM実行を非常に困難にしている大きな理由の一つです。

さらに、CPUのみで動かすとなると、PytorchやTensorFlowが利用できるCPU版バックエンドがあるとはいえ、そのパフォーマンスはGPU版に比べて著しく低下します。
特に、LLM（Large Language Model）のような巨大なモデルを推論する際には、CPUでは現実的な速度が出せず、まともな使い物にはなりません。

先日の投稿での通り、OllamaでもローカルLLMを試してみましたが、ChatGPTと比較すると快適というレベルではないので、長期的に使ったり何度もリクエストをするにはやや厳しいのかなという印象です。

VSCode+continueでローカルLLM（Ollama）を連携してみた話

そこで、じゃあAppleシリコン（M1/M2）を搭載したMacでのローカルLLM実行はどうかとなります。Appleの独自開発GPUは、Metalを活用した機械学習最適化が進んでおり、特に小型モデルではある程度のパフォーマンスが出せることが報告されています。とはいえ、やはり依然としてNvidia CUDAほどの圧倒的な速度には及ばないため、本格的な活用には難があると言わざるを得ません。

そのため、Intel MacやHackintoshユーザーにとっては、今後の選択肢として次の２つが考えられます。

  1. Linux環境へ移行する、またはHackintoshとデュアルブート環境にする
  2. ローカル生成AI利用を諦める（クラウドAIサービスを利用）

Linuxでもいいんですが、Davinci Resolvでの動画利用が面倒だし、それならデュアルブートという手もありますが。
またクラウド利用は、有償版でAPIキーのチャージが必要ですが、github copilotの無償版を試したらこれでも十分使用可能でした。というかむしろこれでイイじゃんという感じでした。
なので必ずしもローカル環境にこだわる必要はないのかなと思えます。（むしろこだわってるのは筆者だけか笑）

まとめ

というわけでIntel MacやHackintoshでローカルLLMをするには「オワコン」となりますが、Linuxに乗り換えなくても、ローカルLLMを諦めることで、まだまだ活用できます。要は工夫次第で使い続けることが可能なのだよということで！

そんなわけで参考になれば幸いです。