急遽テレワーク導入!の顛末記
「無料のAIで文字校正はどこまでできる? リートン『GPT-4 Turbo』がけっこうスゴかった」――急遽テレワークを導入した中小企業の顛末記(177)
長文にも対応できる「GPT-4 Turbo」と「Shodo」を比較してみた
2024年3月4日 07:00
最近あるプロジェクトで新入社員に原稿を作ってもらっているが、その修正作業に時間を取られている。テレワーク中のため顔を合わせてアドバイスをする機会がなかなか作れていないこともあり、その質を向上させるにはもう少し時間がかかりそうだ。
……この記事を書いている時点で、新型コロナが5類に移行されて298日が過ぎた。
私が勤めている新宿にある中小企業では現在、各スタッフが可能な範囲でリモートによる業務を行っている。その中で、今回はコンテンツ生成プラットフォーム「リートン」で「GPT-4 Turbo」が無料で使えるようになったので、AIに文字校正を助けてもらった。
2月26日(月):2000文字程度なら、修正原稿の作成まで頼める
今日はあるプロジェクトの納品日。新入社員に頼んでおいた原稿が上がってきたのだが、基本的な文法で気になる部分が結構ある。とはいえ、その修正に時間を取らせるよりは、もっと文章の本筋にあたる部分を直してもらった方が、原稿のクオリティを上げることができそうだ。
こういう細かいミスは適宜指摘しつつ、作業に慣れてもらえば徐々に減っていくものだが、当面はこちらで修正する必要があるだろう。ただ、その量がちょっと多いので、手作業で直すと時間がかかるし、見過ごしなどの人的ミスも怖い。
そこで、今回はコンテンツ生成プラットフォーム「リートン」に、原稿の校正作業をサポートしてもらうことにした。同サービスでは1月31日から最新の「GPT-4 Turbo」が無料で使えるようになっており、ある程度の長文の質問にも対応してくれる。つまり、原稿を丸ごと入力して、「これを校正して」といった指示を出しても、きちんと回答してくれるのだ。
さっそく、原稿の校正をお願いしたところ、「持ち運こび」「少しづつ」のような送り仮名や助詞、「USB軽油で」といった同音異義語のミスを、「GPT-4 Turbo」が指摘してくれた。以前にインタビューの文字起こしデータの整形を頼んだ時は、入力した文字を800文字程度までしか認識してくれなかったので、ここまで大量の文字データに対応してくれるのは頼もしい。
ただ、この時点では「である調」「数字と英字は半角」など、ルールで指定していた箇所については、何も反応してくれなかった。そこで、「指摘の内容を文章に反映してください」と追加で指示を出したところ、先ほどのミスも含めて表記の修正を反映した原稿が出力されるようになったのだが、今度は出力が2000文字に近づいたところで「GPT-4 Turbo」からの回答が止まってしまう……。時間を変えて何度か試しても原稿を最後まで直してくれることは無かったので、長文を認識できるとはいえ、回答できる文字数にはある程度の限界があるのかもしれない。
さらに、今回は「である調」と「ですます調」が混同した原稿を、「である調」に統一するように指示したのだが、出力された原稿は表記が全て「ですます調」になっていた。ただ、これは指示をより細かく設定することで解決できたので、筆者の入力したプロンプトが甘かったようだ。
2月27日(火):一般的なAI校正ツールと性能を比較してみた
リートンの「GPT-4 Turbo」に校正をお願いした場合、2000文字程度の原稿であれば、修正に対応してくれることが分かった。そこで気になったのが、いわゆるAI校正ツールと呼ばれるサービスとリートンを比べた場合、どちらの方が使い勝手が良いかということ。クラウドで提供されているAI校正ツールの中でも、無料で使えるものとなると、かなり数が絞られるが……。実際に無料のサービスをいくつか試したところ、助詞の誤りなどを認識しなかったり、一度に入力できる文字数が限られていたりと、ChatGPTに対抗できそうなものはなかなか見当たらなかった。
その中でも、文法の誤りを指摘したうえで、一度に入力できる文字数も1800文字と比較的に長かったのが、AI校正・相互レビュークラウドの「Shodo」だ。対応している校正内容として、「誤字脱字やタイポのチェック」「同音異義語や変換ミスの修正」「敬語、二重敬語の間違い」などを公式サイトでうたっているだけあって、文法や表記の揺れをかなり細かいところまでチェックしてくれる。
さらに、「Shodo」は相互レビュークラウドとあるように、記事をクラウド上で共有し、同僚や上長など、ほかのユーザーにチェックしてもらえるのも嬉しいところ。つまり、1800文字以内の原稿であれば、新入社員に「Shodo」を使ってもらうことで、AI校正から原稿チェックの依頼までをまとめて行えるというわけだ。文法上の誤りが画面上に表示されるので、赤字を入れる手間も減らせるだろう。
2月28日(水):同音異義語や固有名詞のミスは、どこまで認識できる?
「Shodo」とリートンの「GPT-4 Turbo」を比較すると、どちらも2000文字弱の出力に対応するほか、助詞や同音異義語の誤りなどを指摘してくれることが分かった。こうなると、どちらのサービスを使うかは、その校正力で選びたい。そこで、文法上の誤りをどこまで認識できるのかを、いくつかの例題を出してテストしてみた。
両サービスの回答例
【同音異義語】現在、異動中のため電話に出ることができません。
- GPT-4 Turbo:「ここは問題ないようです」と回答
- Shodo:現在、移動中のため電話に出ることができません。
【同音異義語】本を正しい場所に納めてください。
- GPT-4 Turbo:本を正しい場所に収めてください。
- Shodo:「回答なし」
【固有名詞】ゴーグルで検索する
- GPT-4 Turbo:Googleで検索する
- Shodo:「回答なし」
【助詞】水溜まり注意したい
- GPT-4 Turbo:水溜まりに注意したい
- Shodo:「回答なし」
【送り仮名】行なう
- GPT-4 Turbo:行う
- Shodo:行う
【ら抜き言葉】考えれる
- GPT-4 Turbo:考えることができる
- Shodo:考えられる
【二重敬語】おっしゃられる
- GPT-4 Turbo:おっしゃる
- Shodo:「回答なし」
【日付と曜日】2024年2月30日(金)
- GPT-4 Turbo:「その日付は存在しない」と回答
- Shodo:「回答なし」
送り仮名や「ら抜き言葉」については、両サービスとも不適切なものを指摘することができた。ただ、固有名詞や助詞のミスについては、「Shodo」は認識することができず、リートンの「GPT-4 Turbo」が圧勝という結果に。また、同音異義語については、一勝一敗という結果だったので、さらに複数の文例について校正を依頼したところ、以下のような結果となった。
同音異義語の認識精度
- GPT-4 Turbo:16問中14問正解
- Shodo:16問中6問正解
どうやら、同音異義語についても、リートンの「GPT-4 Turbo」の方が認識できる単語が多いらしい。ちなみに、敬語や二重敬語の訂正については、「Shodo」では有料プランの機能となっており、契約すれば文字出力の制限もなくなるが……。少なくとも無料で使える機能の範囲内においては、リートンの「GPT-4 Turbo」の方が校正作業では力になってくれそうだ。
2月29日(木):「GPT-4」と「GPT-4 Turbo」で誤記の認識精度を比較
無料でAIに校正を頼めるサービスを色々探してみたが、現時点ではリートンの「GPT-4 Turbo」の使い勝手が一番良いというのが分かった。ただ、ここで気になるのは、リートンでは言語モデルとして「GPT-4 Turbo」だけでなく、「GPT-4」も選べるということ。一般に「GPT-4 Turbo」は回答速度に優れ、「GPT-4」は精度が高いと言われているが、原稿の修正作業までやらせた場合、どのぐらい作業の時間に差が出るのか実際に試してみた。
2000文字の原稿の修正作業時間
- GPT-4:3分23秒
- GPT-4 Turbo:1分10秒
※計測は平日の日中に実施
同音異義語などの認識精度
- GPT-4:21問中18問正解
- GPT-4 Turbo:21問中16問正解
2000文字程度の原稿の校正については、どちらもルールに沿って単語などが書き換えられ、助詞や同音異義語の誤りも正しく修正されていた。これなら作業時間を短縮できる「GPT-4 Turbo」の方を使っても問題無さそうだ
一方、言葉遣いについては、助詞やら抜き言葉、二重敬語、日付と曜日の誤記に関する認識精度は、言語モデル間で大きな差が見られず、送り仮名の認識についてのみ「GPT-4」の方が優秀であるように感じられた。ただ、同音異義語については、どちらの言語モデルもリクエストごとの認識精度にバラつきがあったので、この部分はしっかりと目で見て直す必要がありそうだ。
これらの結果を踏まえると、無料でAIによる文字校正を行うなら、“「GPT-4 Turbo」にう2000文字ずつ処理させる”のが一番効率が良さそうだ。その上で、同音異義語の誤りなどを正しく修正するには、最後に人の目によるチェックが欠かせないらしい。
とある中小企業に勤める会社員、飛田氏による体当たりレポート「急遽テレワークを導入した中小企業の顛末記」。バックナンバーもぜひお楽しみください。