NAS+ChatGPTで、共有フォルダーの文書をもとに回答するAIチャットを作る

STEP 1-1：ChromaDBを稼働させる

　まずは、文書をベクトルデータとして保存するChromaDBを稼働させる。Container Stationの「アプリケーション」から「作成」をクリックすると、docker-compose用のYAMLコードの入力欄が表示される。

　docker-composeは、YAMLで定義された情報に基づいてコンテナを作成する機能だ。ここに以下のコードをコピーして貼り付け、アプリケーション名を「chromadb」などとしてコンテナの作成を開始する。

version: '3.9'

networks:
  net:
    name: chroma_net
    driver: bridge
services:
  server:
    image: ghcr.io/chroma-core/chroma:latest
    restart: always
    volumes:
      # Default configuration for persist_directory in chromadb/config.py
      # Currently it's located in "/chroma/chroma/"
      - ./chroma:/chroma/chroma/
    ports:
      - 8000:8000
    networks:
      - net

　上記の例は、GitHubのchroma-core/chromaのページで公開されている「docker-compose.server.example.yml」ファイルをベースに、データベースの保存先をNASの「/Conatainer/container-station-data/application/chroma/chroma」に変更したものだ。これにより、通常のNASのバックアップなどを利用して、Chromaのデータも保護できる。

　完成したら、ブラウザーで「http://NASのIPアドレス:8000/api/v1/version」にアクセスして稼働を確認しておく。

docker-compose.ymlの内容を貼り付けてchroma dbを起動する

STEP 1-2：Flowiseを稼働させる

　続いて、GUIでLLMアプリを構築できるFlowiseを稼働させる。同様に、Container Stationで、以下のYAMLコードを使ってアプリを作成する。これも上記と同様、GitHubのchroma-core/chromaのページで公開されている「docker/docker-compose.yml」を、NAS向けに少し書き換えたものだ。

version: '3.1'

services:
    flowise:
        image: flowiseai/flowise:1.3.4
        restart: always
        environment:
            - PORT=3000
            - DATABASE_PATH=/root/.flowise
            - APIKEY_PATH=/root/.flowise
            - SECRETKEY_PATH=/root/.flowise
            - LOG_PATH=/root/.flowise/logs
        ports:
            - '3000:3000'
        volumes:
            - ./flowise:/root/.flowise
            - /share/CACHEDEV1_DATA/Public/:/mnt/Public
        networks:
            - flowise_net
        command: /bin/sh -c "sleep 3; flowise start"
networks:
    flowise_net:
        name: chroma_net

同様にFlowiseも起動する

　このコードのポイントは3点ある。

　1つ目は、「image: flowiseai/flowise:1.3.4」でバージョンを1.3.4に固定している点だ。本稿執筆時点では、1.3.4でないとChromaDBとの接続でエラーが発生してしまう。Githubの修正履歴などを確認し、修正されているようであれば「image: flowiseai/flowise」と「:」以降を削除すれば最新版で利用できる可能性もある。

　2つ目はボリュームのマウント先だ。上記コードの「volumes:」の部分で、NAS上の共有フォルダーとコンテナ内部のディレクトリを対応付けしている。

　具体的は、2行あるうちの2行目「- /share/CACHEDEV1_DATA/Public/:/mnt/Public」によって、NASの「Public」共有フォルダー（標準で作成済み）を指定している。大規模言語モデルの知識となる文書は、このフォルダー配下に保存することになるので、別の共有フォルダーを利用したい場合は、この部分を書き換えておく必要がある。

　3つ目はネットワークの設定だ。FlowiseからChromaDBにアクセスできるようにするために、ChromaDBのコンテナ作成時に指定したネットワーク名でFlowiseもネットワーク接続するように構成する。

STEP 2-1：Retrieval QA Chainを配置する

　「Chains」の「Retrieval QA Chain」を配置する。このノードがチャット機能を担う。

会話によるQAを作成する

STEP 2-2：ChatOpenAIを配置する

　「Chat Models」の「ChatOpenAI」を配置し、コネクタをRetrieval QA Chainの「Language Model」につなぐ。このノードでOpenAIのAPI経由でgpt-3.5-turboを利用する。つないだら、「Connect Credential」からOpenAIのAPIキーを登録しておく。

対話にはOpenAIのAPIを利用

STEP 2-3：Chroma Upsert Documentを配置する

　「Vector Stores」から「Chroma Upsert Document」を配置し、Retrieval QA Chainの「Vector Store Retriever」につなぐ。これにより、ChromaDBにデータが登録される。つないだら、「Collection Name」に「docqa」などのデータベースに付ける任意の名前を設定し、「Chroma URL」に「http://NASのIPアドレス:8000」を登録しておく。

ChromaDBを設定

STEP 2-4：OpenAI Embeddingsを配置する

　「Embeddings」から「OpenAI Embeddings」を配置し、コネクタを「Chroma Upsert Document」の「Embeddings」につなぐ。OpenAIのモデルを使って文書をベクトル化する。つないだら「Connect Credential」で2で作成したOpenAIのAPIキーを選択しておく。

文書をベクトル化する

STEP 2-5： Folder with Filesを配置する

　「Document Loaders」から「Folder with Files」を配置し、コネクタを「Chroma Upsert Document」の「Document」につなぐ。ここで指定したフォルダーからファイルを読み込む。つないだら、「Folder Path」に「/mnt/Public/DOC」など、FlowiseのYAMLで指定したコンテナ側のフォルダー配下を指定する。

フォルダーを指定

STEP 2-6：Recursive Character Text Splitterを配置する

　「Text Splitters」から「Recursive Character Text Splitter」を配置し、コネクタを「Folder with Files」につなぐ。これにより、文書が一定サイズに分割されてベクトル化される。つないだら「Chunk Overlap」を「100」などに設定し、分割されても前後関係を保てるようにしておく。

テキスト分割を設定

　ここまでが全て完了したら、フローに名前を付けて保存しておく。右上の「Chat」ボタンをクリックすると、実際にフローの動作を検証できるので、保存先の文書に記載されている内容についてチャットで質問し、回答されるかどうかを確認しておこう。

共有フォルダーのドキュメントに対してのQAフローが完成した