PCで快適に大規模言語モデルを動かしたい！　16GB版RTX4060tiを待ちきれず、24GB搭載のRTX3090ビデオカードを中古で買う(9/9)

30BモデルをGPTQで4bit化したモデルなら20GB前後のVRAMで動く。日本語や計算などを若干間違えるケースもあるが、かなり実用的なレベルに達する