自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！(14/15)

float16指定でVRAM8GB環境でも質問2～3程度なら動作可能。さすがにGPUを使うと数秒でさっと回答が得られるので速い