やじうまWatch

AIが自ら見聞きしたものについて語り出す、安価なカメラでAIに目と記憶を持たせる試み

 安価なネットワークカメラを使ってAIに目と記憶を持たせるプロジェクトが話題だ。

 これはソフトウェアエンジニアのkmizu氏がX上で公開しているもので、Anthropic社のAIエージェント「Claude Code」に3980円で販売されているネットワークカメラを接続することで、AIに自らの「目」「首」「耳」「脳(長期記憶)」を持たせるという実験。

 これまでは情報を与えられるだけだったAIが主体的に自分で見聞きできるようになることを目指しており、XのポストではAIに対して「今何が見える?」「周りを見回して」「何か聞こえる?」といった具合に自然言語で指示を出し、それに対してAIがカメラを通して見えるものを回答し、さらに自然言語で感想を述べている様子が投稿されている。リポジトリはGitHubで公開されており、Ubuntu Linux環境さえあれば誰でも利用可能とのことで、そのコストの低さもあって非常に興味深いプロジェクトだ。試してみたいと思った人はリンク先をチェックしてみてほしい。