自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！(4/15)

Float16指定で、RTX3070 8GBでも一応動作するが、質問を3回くらい繰り返すとメモリ不足で停止してしまう