ローカルLLMを設置した、MACStudioが半年待ちに近い納期なのでAMD Ryzen AI MAX+ 395 / Radeon 8060Sを選択した。価格は56万円なり、40万を超えるので償却資産
【ハード構成は】
・CPU/GPU : AMD Ryzen AI MAX+ 395 / Radeon 8060S (RADV STRIX_HALO, gfx1151)
・メモリ : 128GB 統合メモリ（ユニファイドメモリ）
・OS : Ubuntu 26.04（Windows 11 とデュアルブート）
・カーネル : 7.0.0-27-generic
・メモリ配分 : UMA=2GB ＋ GTT 80GiB→ GPUが最大 約82GiB の統合メモリを利用可能
【肝心のAiは】
・エンジン : llama.cpp（Vulkanバックエンド、自前ビルド版 b9891 / f36e5c348）
・モデル : gpt-oss-120b（MXFP4 GGUF、3分割・約60GB）
・モデル配置 : /data/models/gpt-oss-120b/
・常駐化 : systemd サービス llama-server（再起動後も自動起動）
・長文安定化 : -ub 512（128Kフルコンテキストでもクラッシュしない設定）
【実測性能（スモークテスト時）】
・生成速度 : 約57 tok/s
・先読み速度 : 約89 tok/s
で期待値通りの能力を発揮している
この御仁、外部URLにアクセスできないので
【Open WebUI（チャットUI）を追加】
・稼働中の llama-server（gpt-oss-120b / 8080）の前段に、
ブラウザから使えるチャットUIとして Open WebUI を Docker で追加。
チューニング
【チューニング】
設定は個人 管理者は全体 左上のコントロールはそのチャットのみ
reasoning_content Start Tag の欄 ➔ End Tag の欄 ➔
推理の努力 high
max_tokens 9012
Temperature 0.4
Search Result Count 8
Concurrent Requests 4
【目的】
自然言語からシステム内で使用しているKEY項目の抽出
【使用上の注意】
chatgptやclauedを期待したら駄目、使用方法は限定される。
質問は必ずmdで作業を丁寧に指図する事、そうすれば空なりの結果が帰って来る
Open WebUIの規定値は3URL検索なので拡大しておくこと