Question 1

外部サービスではなく、ローカル環境でLLMを動かすメリットとは何か？

Accepted Answer

APIの従量課金を気にせず、手元の電気代だけで大量の処理を実行できる 外部サーバーにデータを送信しないため、プライバシーやセキュリティ面で安全である 外部サービスのサーバー障害や輸出規制など、政治的・外部的なリスクを回避できる

Question 2

ローカルLLMを動かすPCにおいて、なぜGPUのVRAMが最も重要なのか？

Accepted Answer

LLMの処理は単純な並列計算が中心であり、CPUよりもGPUのほうが圧倒的に得意である 快適な生成速度を出すためには、モデルのデータ全体をGPU専用の高速メモリ（VRAM）に乗せる必要がある 通常のRAMやストレージ（SSD）でも動かせなくはないが、読み出しがボトルネックとなり生成速度が実用に耐えないほど遅くなる モデル本体だけでなく文脈を記憶するKVキャッシュなども領域を消費するため、モデルサイズ以上のVRAM容量が求められる

Question 3

VRAMの容量が足りない場合の対策である「CPUオフロード」と「量子化」とは何か？

Accepted Answer

CPUオフロードとは、VRAMに入りきらない層の処理を本体のRAMとCPUに逃がして動かす技術である CPUオフロードを使うと動作は可能になるが、GPU単独で動かす場合と比べて生成速度は低下する 量子化とは、パラメータの数値精度（ビット数）を落とすことで、性能を極力保ちながらモデルのデータサイズを圧縮する技術である

Question 4

ローカルLLM用のPCとして、中古のMacや「DGX Spark」が注目される理由は何か？

Accepted Answer

Macはユニファイドメモリを採用しており、CPUとGPUで大容量メモリを共有できるためLLMと相性が良い 中古のM1 Maxなど大容量メモリ（最大128GB）を積んだMacは、比較的手頃な価格で大きなモデルを動かせる選択肢として人気がある NVIDIAの「DGX Spark」は約100万円と高価だが、128GBの共有メモリを備えた小型の専用機として開発者の本命とされている

Question 5

高価なPCを購入する前に、ローカルLLMの導入をどうシミュレーションすべきか？

Accepted Answer

「LM Studio」などのGUIアプリを使い、手持ちのPCで8Bなどの小さなモデルを動かして使用感を体験する Qwenなどの高性能モデルをAPI経由で利用し、普段の作業を代替できるか事前にテストする Qwen Codeなどの専用ツールを活用し、タスクを小さなモデルに切り分けて節約できるか試してみる

Podcast振り返り

ローカルLLM用のPC、何を買う？RTX 3090か中古M1 MaxかDGX Sparkか(ep.109)

Podcast振り返り

ローカルLLM用のPC、何を買う？RTX 3090か中古M1 MaxかDGX Sparkか(ep.109)