事業でのAI活用や「逸般の誤家庭」に！ 強烈な「AI頭脳」を実現するデスクトップPC「AI TOP PC」とは？

ビデオカード、マザーボード、SSDを組み合わせて「頭脳」を作る

　ビデオカードやマザーボードだけでなく、SSDや電源ユニットまで含めているのがポイントで、従来のゲーミングPCやデスクトップPCの範囲を超えた「AI TOP」ならではの頭脳設計といえるでしょう。

　こうした構成により、AI TOPは非常に大きな最大処理性能を実現。AI性能を示す代表的な指標のひとつである「パラメータ数」では、設計上4050億パラメータ（405B）まで対応できるとされています（ビデオメモリ＋メインメモリ＋メモリオフロードSSDの組み合わせによって実現した値）。

　「パラメータ数」は、モデルが学習・保持できる知識の容量を意味し、数が多いほど高度で複雑な判断が可能になるものです。現在、日本語に対応したオープンなLLMでは70億パラメータ（70B）規模が主流、最先端では数千億パラメータ（数百ビリオン）にも達します。AI TOP PCでは、このSSD＋メモリの構造を活用することで、AIの「頭脳の仮想メモリ」として機能し、超大容量かつ高価なサーバー用メモリを使わずに、数百GB～数TB規模のモデル処理を自宅・スモールオフィス環境でも実現できる、というわけです。

　たとえば、Meta社が公開している代表的なオープンLLM「LLaMA 3–70B」は、モデルファイルの総容量が約565GBにもおよびます。これを一般的なDRAMだけで処理するのは現実的ではありません。

　しかしAI TOP PCのSSD＋メモリの構成を使えば、このようなモデルのファインチューニング（LoRAなど）も高速に実行可能です。実測ベースでは、SSD単体より2.4倍高速化し、電力効率は7.7倍向上したという結果も報告されています。

AI TOP PCのSSD＋メモリの構成を使うことで、パフォーマンスが向上するという

　本来こうした学習タスクは、データセンターや研究機関、大企業のAIラボでしか実行できないものです。それを「自宅やスモールオフィスで実行可能にした」という点において、AI TOPは、マザーボードの老舗メーカーとしての革新性と野心を体現したプロダクトと言えるでしょう。

思ったよりも導入しやすい！AI時代のセットアップ

　では、ここから「AI TOP PC」をセットアップしていきましょう。

　まずはGIGABYTE AI TOPのサイトにある「Download AI TOP Utility」からインストールファイルをダウンロードします。2025年8月現在、ユーティリティの最新バージョンは4.0.0です。

　この「AI TOP Utility」は、Ubuntu 22.04.5のLinux環境、またはWindows 11上のWindows Subsystem for Linux (WSL) 環境にインストールできます。

　パフォーマンスや複数台構成を考えるならUbuntu一択ですが、今回は「ゲームやオフィスソフトも使いながら機械学習タスクも回す」というユースケースを想定してWSLで評価していきます。

　さて、WSLで使う場合もUbuntuで使う場合も、Linux用のGPUドライバーのインストールが必要です。普通の自作PCや専用ワークステーションの場合、実はここは茨の道で、使用しているCPUや使いたいCUDA、Pytorchなどのバージョンで混乱すること間違いなしだったりします。一方、AI TOP Utilityの場合はNVIDIAまたはAMDのビデオカードに合わせて専用のスクリプトが用意されています。

　今回使用しているNVIDIA GeForce RTX 50シリーズのLinuxドライバーはNVIDIA版とコミュニティ版があるのですが、そのあたりも公式情報にしたがって確実にセットアップできるのも安心です。

　この後、細部のインストールになるのですが、必要なドキュメントは英語のPDFやYouTube動画として公開されています。

【公式解説動画】

インストール方法から使い方まで、たくさんの動画が公式で用意されている

NotebookLMとの対話の様子

　ちなみに「英語」というと不安を感じる方もいると思いますが、今やこれもAIで解決できます。

　具体的には、ダウンロード提供されているドキュメントや動画URLをGoogleのNotebookLMにアップロードしてしまい、その後のインストール方法をNotebookLMに聞きながら進める、というやり方です。

　今回は、これでインストールやセットアップを進めましたが、特に詰まるところはなし。WindowsでWSLを使える人ならNotebookLMの指示通りに進めればOKです。わからないところはNotebookLMに聞けばよいので、翻訳版のマニュアルも必要なさそうです。

　具体的なやり取りを抜粋すると以下のような感じになります。

　手順書では何十ページにもなりそうな内容を、さまざまな解像度で教えてくるので効率が良いですし、自分が詳しくない部分は、手取り足取り教えてくれるので大変勉強になるはずです。

インストール中の画面

データセット構築：学習用データを自動で生成

　ダッシュボード左側の「Dataset」から選択するものです。

　業務などで蓄積された未整理の文書ファイル（TXT, DOC, JSON, CSV, XLSX, PDFなど）を、AIのファインチューニングに適したQ&A形式のデータセットに自動で変換してくれます。

　AI TOP UtilityがPCのハードウェア能力やデータ形式などに基づいて最適なLLMを推薦し、そのLLMを使ってQ&Aペアを生成します。最大10,000ペアまで生成可能で、これにより専門知識を持つAIを効率的に育てる基盤が築けます。

　これは、実際にサンプルデータで動かしてみました。

　ここでは、サンプルデータとして用意されている Jay_Chou_english.docx という英語で1万文字ぐらいのファイルと、任意のLLMを使ってサンプルデータセットを作る作業を体験できます。

Jay_Chou_english.docxの一部。台湾出身の歌手、俳優、作曲家、作詞家で中華圏の若者に絶大な人気を誇る周杰倫（Jay Chou）に関する10,000文字ぐらいの英語の紹介文になっています。

　使用するLLMには、AI TOPの機能でデータに合わせてリコメンドされる「Llama-3-8-B-Instruct」を指定し、2時間ほど演算すると30問のQ&Aファイルが生成される……という流れです。生成されるファイルの一部（の翻訳）を以下に掲載しておきます。

　ちなみに筆者は、実行する際、つい、慣れ親しんだ「Llama-3-8-B」を選んでしまったのですが、これは失敗。作業が完了しませんでした。このタスクはQ&Aつまり「対話文」なので、ベースモデルではなく「lllama-3-8-B-Instruct」を使うとよいようです。

　逆にいうと、リコメンドしてもらう意味があった、ということでもありますね。

[
{
"input": "",
"instruction": "ジェイ・チョウとは？",
"output": "ジェイ・チョウは、アジアの音楽、映画、エンターテインメント業界への多大な貢献で知られる、多才なアーティストです。"
},
{
"input": "",
"instruction": "ジェイ・チョウはどこで生まれましたか？",
"output": "ジェイ・チョウは台湾の台北で生まれました。"
},
{
"input": "",
"instruction": "ジェイ・チョウの幼少期と音楽の歩みはどのようなものですか？",
"output": "ジェイ・チョウの幼少期と音楽の歩みは台北で始まりました。彼は教育と音楽を重視する家庭で育ちました。音楽教師である母親は幼い頃から彼の才能に気づき、ピアノのレッスンを受けるよう勧めました。"
},
{
"input": "",
"instruction": "ジェイ・チョウのデビューアルバムは何ですか？",
"output": "ジェイ・チョウのデビューアルバムは2000年にリリースされた『Jay』です。"
},
{
"input": "",
"instruction": "ジェイ・チョウの音楽スタイルのユニークな点は何ですか？",
"output": "ジェイ・チョウの音楽スタイルは独特で、西洋と東洋の影響に加え、R&B、ヒップホップ、クラシック音楽が融合しています。"
},

ファインチューニング：専門知識が無くてもOK、プロ向けの設定も

　データセットが作れたら、AIのファインチューニングを行います。

　ダッシュボードにある「Experiment」のメニューを選択し、機械学習の実験タスク（評価）を行います。ここでは、学習内容の真偽や専門用語の正しさ、ハルシネーションの有無、学習効率など「ファインチューニング」に必要なデータを得ることができます。

　「LLM backbone」には、ベースモデルとして使った「Llama-3-8-B-Instruct」を、「Datasets」には先ほどデータセット作成で生成したQ&AのJSONファイルを指定して実行。Q&Aを実施し、現在の学習状況を評価できます。

　ファインチューニングについては、ユーザーがAIの専門知識を持たなくてもファインチューニングを進められる「Easy-to-operate modes」も提供されており、この場合は「Standard」「Fast Speed」「High Precision」といった戦略を選択するだけでファインチューニング可能ですし、プロのLLMトレーナー向けには、Full、Freeze、LoRA、QLoRAといった詳細なファインチューニング手法や、学習率、バッチサイズ、エポック数といったパラメータを細かく設定する「Clear」オプションも用意されています。

　これらのプロセスにより、社内用語や専門用語、方言なども再現性高く「自分好みのAI」を作り上げていくことが可能です。

ファインチューニングの作業の流れ

マルチモーダルRAG：テキストだけでなく、画像や動画、音声も

　これもダッシュボード左側の「RAG」から開始します。

　AI TOP UtilityのマルチモーダルRAG（Retrieval-Augmented Generation）は、いわゆる「RAG」で、トレーニング済みのモデルに追加データを学習させるものです。ただし、テキストだけでなく、画像や動画、音声などを追加できる非常に野心的なツールになっていると感じました。

　これらのデータはベクトル化され、ChromaDBというベクトルデータベースに保存されます。ユーザーが質問をすると、関連するドキュメントがデータベースから検索され、そのコンテキストに基づいてLLMが応答を生成します。これにより、契約書や製品マニュアル、過去の議事録、さらには監視カメラの映像や音声データなど、企業内のあらゆる情報源を活用した高度なQ&Aシステムを構築できます。

　サポートされているファイル形式は、画像（.jpg）、音声（.wav）、動画（.mp4）、ドキュメント（.txt, .json, .csv, .pdf, .docx, .xlsx）とされています。

　RAGは、追加の開発コストやベクトルデータベースの構築が必要なことが多く、マルチモーダルで扱うのは実は大変です。例えばドライブレコーダーや監視カメラ、家族の動画や作品など、動画はとても大きなファイルです。ストレージ容量に制約が少ないAI TOP PCでマルチモーダルRAGが利用できることで、学習の応用範囲が広がるのではないかと考えています。

RAGの設定画面

　具体的な設定項目は以下の通りです。

推論：「インターネット無し」でチャットボットを利用する

　「Inference」のメニューからチャットボットの設定ができます。

　インターネットなしで、チャットボットを動かせるのが特徴で、AI TOP PCのアドレスに接続できる"172.18.9.60:8080/web"といったプライベートIPアドレスのQRコードが取得できます。

　LAN内からの接続になりますが、PCはもちろん、スマートフォンからも利用できます。

「メモリの限界」を超えた大規模モデルのトレーニング機能も

　「AI TOP PC」のウリの一つでもある、ビデオメモリ＋メモリ＋SSDによる大規模モデルのトレーニング機能ですが、これは対応するNVMe SSDをマウントして行います。

　このSSDマウントはLinux環境ではEXT4フォーマットへのSSDのフォーマット、WSL環境ではWindows Powershellからの特別なコマンド実行が必要です。設定方法はマニュアルに記載があります。

そのほかの推論・学習機能も

　このほか、学習済みモデルを推論向けの形式（GGUF）に変換する「Model Converter」や、画像分類、物体検出、画像セグメンテーション、OCR（光学文字認識）などの機械学習タスクをコーディング不要で実行できる「Machine Learning」といった推論・学習機能も利用可能です。

　様々な機能が盛りだくさんの「AI TOP Utility」では、あまり目立たない印象もありますが、それぞれ、可能性があるものだと思います。

「マルチモーダル」の本当の価値は、ローカルにある

　さて、そもそもの話としてお伝えしたいのは、「マルチモーダルの本当の価値は、ローカルAIで花開くのではないか？」という筆者の考えです。

　テキストに加えて、画像や動画も扱う「マルチモーダル」は、AIサービスでは当たり前に使いはじめていますが、実はまだまだ大きな可能性があると思うのです。

AI TOP Utility による画像生成の例

　例えばオンライン会議の議事録に「ありがとうございました」と記録されたとします。文字だけの場合は「ありがとうと言った」ことだけがわかりますが、音声ならば声色で「本当に感謝している」のか「とりあえず言っている」のかがわかりますし、画像情報もあれば「何を気にしてそうしたのか」など、詳しいことがわかるかもしれません。しかし、こうした非言語情報は大量で、ネットワーク越しに扱うのは大変です。

　AI TOPはLLMだけでなくマルチモーダルや画像生成も扱えます。リストにはStability AIのText-to-imageモデルであるStable Diffusion 3や3.5、Black Forest LabsのFLUX.1-DevやSchnellもありました。もちろん、チャットで画像生成も可能です。

　こうしたマルチモーダルを「普通に使う」だけなら、AIサービスと同じマルチモーダルの使い方ですが、AI TOP PCではこれをマルチモーダルRAGとして学習させることを意図しているようです。つまり、ChatGPTのようなインターネット型のLLMと並列に、ローカルのAIにあった新しいマルチモーダルAIの使い方が出てくるのではないか、と筆者は考えています。

Pythonを使った機械学習やAI Tuber？

　AI TOP Utilityでは、コーディングなしで機械学習ワークフローを構築できます。画像分類、オブジェクト検出、画像セグメンテーション、OCR（光学文字認識）などはそのままできますし、Pythonなどで自動化することも可能です。

　家族の写真や動画をクラウドにアップロードせず（クラウドの規約を気にせずに）に、ローカルで学習・分類したり、セキュリティカメラの監視を手元で実行する、なんてこともできるし、データ容量を気にせずに「ひたすら自分の音声データを録音して学習させる」といったことも面白そうです。

　PDFを読み込み、Google Driveと連携させながらAI OCRをかける、なんてことも簡単です。ファイル分析や共有はクラウドに任せるなど、クラウドと連携させた用途もAI TOP PCの利点になりそうです。

　また、リアルタイム音声合成や、AI Tuberのような「AIで動くライブ配信」を行う際、マルチモーダルRAGを活用することで、より精度が高いAIを、通信環境に依存せずに実現できます。

「いつでも学習できる、なんでも学習できる」

　社内の膨大な文書、画像、動画、音声データを学習させ、チャットで必要な情報を引き出せるアシスタントが作れます。

　同様のWebサービスも既にありますが、独自に構築すれば、どんな情報も入れ放題ですし、好きなタイミングで学習させられます。技術資料、製品設計図面、検討中の企画など。なんならついさっき検討した会議のことも確認できます。学ばせる内容に応じて「人事のプロ」や「研究アシスタント」「マーケティングアシスタント」「顧客サポート」のような業務もできるでしょう。

　顧客サポートであれば、顧客一人一人に最適化された自動応答システムや、営業担当者へのレコメンデーションエンジンもできるはずです。

　AI TOP Utilityの機械学習機能を使うことで、画像分類、物体検出、画像セグメンテーション、OCRといった機能が簡単に利用できます。これらを応用すると、「監視カメラの映像解析」や「書類の自動処理」「カメラを利用した品質管理の自動化」といったことが比較的低コストでできるでしょう。こうしたサービスは他にもありますが、こうしたPCで実現でき、容易にカスタマイズできるのがポイントになるでしょう。

「出先で使う」も現実的？

　また、ローカルでAIが動作するPCは、「実際に展示会でデモをしたい」「クルマなどの移動体」「公共施設で実験をしたい」といった時に威力を発揮します。
十分なネットワークが確保できない展示会場で自社のAIをデモしたい場合が該当するでしょう。