自宅ミニPC上でLLM環境を作る

自宅ミニPC上で ローカルLLM環境を作ろう 2026-10-11 NaniwaNOG 4 Meeing (奈良) LT資料 佐々木 健

自己紹介(NaniwaNOGと私) ● NaniwaNOG 1 – ● NaniwaNOG 2 – ● よねやんに召喚されてNOCのトラブルシューティングのお手伝い NaniwaNOG 3.5 – ● よねやんに召喚されてNOCのトラブルシューティングのお手伝い NaniwaNOG 3 – ● → スルー、お仕事で近くにいたのでちょっとだけ挨拶に行った くまもんに当日になんか喋れと無茶振りされる NaniwaNOG 4 – NOCはクビになる – やむにやまれぬ事情でLTをすることに

(余談)NaniwaNOG 1のときのお仕事 ● お手伝いしてる会社の大阪オフィスの回線がおか しい、というので調査したところ、たしかに酷かっ たので、上流回線を変更した – 品質測定って大事だよね

最近のお仕事 ● Gisiumという推論サービスを作ろうぜという会社 のお手伝いはじめました – 今日の旅費等も出してもらってます ● なぜか家にGPUサーバがある人が多い – DGX Spark安いですよ – 一般のご家庭向けにはAMDがいいですよ

ハードウェア購入検討 ● 半導体高騰が憎い!!! ● 円安が憎い!!! ● ● NVIDIAのGPUサーバを買おうとすると100万円 〜？？？ AMDのGPUサーバでも30万円〜？？？

あれ？このNotePC、GPUあるよね ● 最近のAMDのCPUには、GPUが内蔵されている ● ちょっと遊ぶならこれで良くない？ ● AMDのCPU付きの手頃なミニPCなら安く買える？ ● とはいえ半導体高騰、円安の影響で、数年前なら 5万円ぐらいで買えたものが、12万円 – シルバーウィークがわりと隙だったので購入

買ったもの

Step1 ● ChatGPTに、あれこれ聞いて、その言いなり – OSは何が良い？ ● Ubuntu 24.04 で – パーティションはどう切る？ ● 全部使ってLVMなしで – SecureBootとか切るべき？ ● Ubuntuなら切らなくてOK

Step2 ● ● Claude Codeを動かしているサーバから、sshでロ グインできるようにする sudoでrootになれるようにする

Step3〜

Claude Code に頼んだこと ● GPUは認識されてる？ ● ローカルLLMを使いたいのでセットアップして

聞かれて回答したこと ● 実行環境はOllamaにして ● ネットワークごしからも使えるようにして ● Open WebUIも入れて ● GPUのメモリ割り当ては今のまま

Claude Codeがやったこと ● GPUの確認 ● Ollamaの導入、GPUの有効化 ● Docker環境構築 ● Open WebUI セットアップ ● モデルの調査、取得、評価 ● メモリ割り当て調査 ● Open WebUIの規程モデル設定

動かしてみた感想 ● こいつ動くぞ!! ● すごく遅いぞ!! ● そこそこ賢い？ ● ちょっと惜しい – NaniwaNOG ぐらいはググって調べてくれよ – 具体的な店まで絞りきれてない

ChatGPTに聞いてみると

商用モデル、商用サービスすごい ● わりと速い ● しっかりと調査してくれる – NaniwaNOGもばっちり認識 – お店も具体名を特定 ● 利用しやすいフォーマットで出力 – リンク付き – 見易いリスト化 – マップも表示

ローカルLLMを使いたい？ ● データを外に出したくない ● インターネットに接続できない環境で使いたい ● 沢山使いたい – 課金額が怖い ● 勉強したい

そういえばこんな話が、、、 NaniwaNOG 4 で ローカルLLM構築の ハンズオンやってよ

手順書を作ったよ(Caudeが) ● 資料はどこかに上げとくつもり

他のネタ(没になったネタ) ● FreeBSD 9(2013年)の放置プレイ ● Claudeでセキュリティ監査、セキュリティ対応 ● ご家庭でマイニング ● 自宅サーバのススメ ● 興味があれば雑に聞いてください ● 次のTDNOGとかでもなにか喋る予定

おしまい 続きは適当な飲み会とかで