現実的環境下のウイルス対策ソフト比較、AV-Comparativesが実施

AV-Comparativesによる実験レポート

　ウイルス対策ソフトの比較を行っているオーストリアの非営利業界団体AV-Comparativesは18日、現実的環境下で、ウイルス対策ソフトの性能を比較した実験の結果を公表した。SymantecとKasperskyが同率首位で、2位はAVIRA、3位はMicrosoftとAvastという結果になった。

　今回のテストは、結果に興味を引かれるだけでなく、現実世界の環境をできるだけ再現してテストが行われたことが注目に値する。現実的環境を再現するのは、必要とする人員やマシンの台数などの金銭的要素、また、テストにかかる時間などを含め非常に難しい。そのため多くの場合、仮想マシンを使ったり、オンデマンドにおけるウイルス検出だけを目安にするといった方法がとられてきた。しかしそれではウイルス対策ソフトの本当の性能はわかりにくいのが現状だ。

　これに対して今回のテストでは、最もユーザーが直面しそうな現実的環境を再現するためのさまざまな工夫が行われた。

　現実にマルウェアに遭遇する場合、Webサイトのスクリプトや、ソーシャルエンジニアリング手法によって、ユーザーがマルウェアをダウンロードしてしまう状況が増えている。そのため、マルウェアスクリプトを含むサイトや、ソーシャルエンジニアリングを使ってマルウェアをダウンロードさせるサイトなど、合計100のテストケースがあらかじめ用意された。なお、この中にゼロデイ攻撃は含まれていない。

　また、統計的に最も利用者の多いOSやアプリケーションソフトが厳選された。その結果、Windows XP Professional SP3、Internet Explorer 7、Adobe Acrobat Reader 8、そして最も利用者数の多いバージョンのJava、Flash Playerなどが設定された。そして仮想マシンではなく、16台の全く同等の物理的PCが、それぞれ別のIPアドレスのもとでインターネットに接続された。

　テストは、2009年11月16日に開始され、11月26日に終了。4人の人員が1日12時間にわたってテストを行ったという。なお、このテストでは、マルウェアが侵入する経路としてWebのみを考慮しており、その他の重要な経路であるメールやインスタントメッセンジャー、P2P、USBなどは考慮に入れていない。

　この100のテストケースに対して、いくつのマルウェアをブロックできたかを点数としてランキング化した。結果は以下の通り。

　1位　Symantec、Kaspersky　99点
　2位　AVIRA　97点
　3位　Microsoft、Avast　96点
　4位　G DATA、F-Secure、ESET　95点
　5位　BitDefender　91点
　6位　eScan　89点
　7位　Trustport、AVG　88点
　8位　McAfee　86点
　9位　Norman　74点
　10位　Kingsoft　60点

　AV-Comparativesでは、検出率98％以上を「アドバンストプラス」、90％以上98％未満を「アドバンスト」、80％以上90％未満を「スタンダード」、80％未満を「テスト済み」としてレベル分けしている。AV-Comparativesでは、「スタンダード」レベルであっても十分に良い点数であると説明している。

　また、問題のないサイトやプログラムを問題ありとして検出してしまう、いわゆる疑陽性についてもテストが行われた。

　ESET、F-Secure、Kaspersky、Symantecでは、1回だけ、問題のないアプリケーションを問題があるとしてブロックしてしまう現象が発生した。しかしAV-Comparativesでは、テストケースの少なさから、不具合があると位置付けることは統計的にできないと説明し、結果は出さなかった。

　AV-Comparativesでは今後、現実的環境を模したこのようなテストの重要性が増すとして、University of Innsbruckと共同で、自動化されたダイナミックテストモデルの開発を進めているとしている。