ニュース
既存のユーザー調査は西洋に偏っている―“WEIRDな人々”問題をNTTとNICTが調査
2024年9月5日 07:15
日本電信電話株式会社（NTT）と国立研究開発法人情報通信研究機構（NICT）サイバーセキュリティ研究室は9月3日、セキュリティ・プライバシー分野における既存のユーザ調査が西洋諸国を対象にしたものに偏っていることを、著名国際会議の過去5年間に発表された論文の分析結果から明らかにした。これまでの研究成果の一般化可能性が低く、日本を含む西洋以外の地域や文化圏の人々が、十分に恩恵を得られない可能性があると指摘している。
これは、従来より指摘されていながら、全体像が明らかでなかった問題を調査したもの。心理学やヒューマンコンピュータインタラクション（HCI）などの、人を中心とする研究分野では、ユーザー調査を通じて人々の心理特性や行動特性を解き明かしてきたが、研究対象が西洋、とりわけ「WEIRDな人々」に大きく偏っていることが指摘されていたという。「WEIRDな人々」とは「Western・Educated・Industrialized・Rich・Democratic」の頭文字を並べたもので、「西洋の・教育水準の高い・工業化された・裕福な、民主主義社会の人々」の意味。
特にセキュリティ・プライバシー分野で偏りが大きくなっている
これまでの研究では、対象の地域的な偏りの考慮が不十分であり、結果が全人類で共通のものなのか、それとも地理的な違いがあるのか、あるとすればどのような違いがあるのか、などの観点の深い分析や洞察も十分でなかった。
人間の心理や行動、意思決定プロセスを分析し、その知見をコンピュータシステムの設計・実装・運用にフィードバックするセキュリティやプライバシー研究分野においても、地理や文化の違いが結果に影響すいくつかの調査によって示されてきたものの、調査対象の偏りの度合などについて明らかになっていなかった。
今回の調査では、サイバーセキュリティおよびヒューマンコンピュータインタラクションに関する著名な10の国際会議において、2017年～2021年の5年間に発表された論文7587本から、人を中心とするセキュリティ・プライバシーに関するユーザ調査を実施した論文715本を特定。この715本の論文に対して、参加者の居住国・属性・募集方法・研究手法・研究トピックに関して、複数の分析者による評価者間信頼性を保証した方法で分析した。
その結果、人を中心とするセキュリティ・プライバシー分野において、調査対象の5年間で非西洋の人々が対象になるユーザー調査標本数が25％から20％に低下しており、偏りが大きくなっていることが明らかになった。
一方で、HCI分野における同様の調査では、2016年～2020年に発表された論文のユーザー調査における標本数の総数のうち、非西洋の国の標本数の占める割合は16％から30％に上昇しており、偏りが緩和される傾向にあることが知られており、このことから、セキュリティ・プライバシー分野における偏りの方がより顕著な傾向にあることが明らかになった。
アジア・中東などの地域は世界人口比率に対して調査が不十分
世界人口比率に基づいた各国の調査度合い（Ψs）を調査した結果、米英独などの西洋の国々は、世界人口比率に対して過多に調査されていることが分かった。一方で、日本を含むアジアおよび中東・アフリカ・南米などの非西洋の大部分の国々では世界人口比率に対して調査が不十分であることが分かった。
さらに、各国の世界人口比率に基づいた調査度合いの高さと、各国の教育水準（Educated）および工業化（Industrialized）・裕福さ（Rich）・民主主義（Democratic）の度合いには正の相関があり、かつそれが統計的に有意な関係性があると示すことができたことから、W（西洋）だけでなく、E・I・R・D（教育水準、工業化、裕福、民主主義）の度合いが高い国の人々に調査が偏っていることが明らかになったとしている。
NTTとNICTは、このような偏りが生じる原因として、論文著者の地理的偏りを挙げている。分析した論文のうち、西洋諸国の組織に所属する研究者のみで執筆された論文が86.5％を占めており、地理的・言語的な障壁から、研究者自身がアクセスしやすい人々を参加者として募集する傾向があるという。
偏りを解消し、多様な人々を理解するためのユーザー調査方法として、両者は次の2点を提案した。
- 再現性や一般化可能性を検証する複製研究の推進
非WEIRDな人々に対する複製研究の推進により、研究結果の一般化可能性および地理や文化による人々の差異を明らかにすること - 地理的・言語的障壁の克服
1.ユーザー調査の対象となる人々の国で活用されているローカルのクラウドソーシングサービスを活用すること
2.ローカルの言語・文化・環境を熟知した研究者との協業によって研究者のダイバーシティを向上させること
本調査の成果は、8月14日～16日に米フィラデルフィアで開催された「USENIX Security 2024」にて発表された。