Photo by Bannon Morrissy on Unsplash
ABテストを実施したことはありますか？
ランディングページ(LP)や購入画面などのUIのデザインパターンを作り、それを特定の願わくば同質のユーザグループにそれらを別々に使ってもらうことで、そのパフォーマンスの違いを測定して、良い方のデザインを採用する、というある種の社会実験です。
それぞれのUIやサービスが狙うコンバージョンをどちらのデザインパターンが多く起こしたか、ということを比較して選ぶことが多いと思いますが、このやり方には悩ましい観点がいくつも出てきます。
Instapageというランディングページ最適化ツールを提供しているサービスのブログに、ABテストについて書いてあり、思考の整理としてとても役立ちます。今回はこの内容も踏まえながら、ABテストのメリットやデメリットについてご紹介しようと思います。
Table of Contents
ABテストを実施するメリット
- ユーザの行動でデザインの良し悪しを決められる
- 大きなリスクを事前に把握できる
- 経済的な損益を数値化できる
1. ユーザの行動でデザインの良し悪しを決められる
複数のパターンを作り、理論的には均質なユーザグループに使ってもらうことで、それぞれのグループの行動の違いを量的に測ります。ユーザ像や課題をはっきりさせたとしても、それを解決できるデザイン案は複数考えられます。そのデザインの良し悪しを主観的な議論をして時間を費やす前に、両方作り、それぞれをユーザに試しに使ってもらうことで、どちらがユーザに受け入れられたデザインなのかをはっきりさせることが出来ます。
2. 大きなリスクを事前に把握できる
戦略的に次のデザインの変更方針が明確なとき、それを実施したときの良し悪しを事前に把握するため、特定の限定されたユーザグループに使ってもらうことでその影響を事前に把握することが出来ます。βテストとも言える方法だと思いますが、ABテストとして実施する場合、新しいデザインを見ているユーザ自身はそれが新しいものかどうかをあまり意識せずに使うことが多いです。新しいかどうかを意識させないことで、自然な状態での行動変化を把握するのに利用します。
3. 経済的な損益を数値化できる
どちらのパターンが売り上げが高かったのか、目標としている指標(例えばコンバージョンレート、クリックスルーレート等)が高かったのかを数字で把握することが出来るようになります。結果として、よりよい数字を出したパターンを採用し、全てのユーザに見せるようにすれば、売り上げや目標としている指標をより多く達成することが出来るようになります。
ABテストで見逃されがちなデメリット
- 実施するのに時間がかかる
- より効果的なテスト箇所があるかどうか
- 実際に人が使った結果であること
1. 実施するのに時間がかかる
余計な議論を行わずに、リスクヘッジも出来、経済的な損益を数値化できるというメリットから、デザインの効果を経済的にどれくらい価値があるか、その根拠作りとしてABテストは好まれる傾向があります。一方で、その検証をするためにどれくらい時間的なコストがかかるのか、という点はなかなか理解しづらい部分ではあります。
実際、テストパターンの作成、テストグループの作成、テストの評価環境の設定等の事前準備から、データのばらつきを落ち着かせるため、例えば2週間等の一定期間の時間が必要なこと、テスト実施後の結果分析や効果の高かったパターンを本番環境に適用するための準備など、意味のあるテストを行うにはそれなりのコストを覚悟する必要があります。
2. より効果的なテスト箇所があるかどうか
1つ目のデメリットでもあげたように、コストがかかる分、問題となっている箇所が仮にシステムとしては簡単にテストできる環境が揃っていたとしても、デザインパターンを作るという出発点から、その2つのパターンが大きく異なったり、本質的にビジネスを変えるほどのインパクトを持つ変更かというと、必ずしもそう言い切れるケースが多くないのではと思います。ビジネス判断に委ねられる部分ではありますが、事業の売り上げに直結し、かつ、その影響が大きい場合に限りABテストを実施するなどの判断がもてると、大事な場面でABテストが使いやすくなります。
3. 実際に人が使った結果であること
これはテスト計画時に気をつけなければいけない点ですが、ABテストを科学実験のように捉えて、何でも試して良いかという発想に立たないように気をつける必要があります。
ユーザグループを均質になるように分けていくと、どうしてもその集団を特定のパラメータで識別していく必要に迫られ、それらの数字の先に一人一人の人が使っているという意識を持つ機会が少なくなっていきます。結果として、このパターンは数字上とても効果がある(変化が大きい)はず、となったとき、そのパターン自体がユーザにとって気持ちよいものなのか、実際それが勝ちパターンになり、全ユーザに展開する際にサービス提供者として自信を持って出せるものなのか、この観点はABテストに関わる人が常に持っていなければいけない視点と思います。結果として数字は良くなったけれど、このパターンは友人や家族には使わせたくない、と思うのであれば、そのパターンは最初から試すべき手はないのではと個人的には思います。
まとめ
ABテストは非常に説得力のある結果が得られる反面、その使いどころ、使い方が問われる手法です。デザインしたことがどれだけビジネスとして価値を発揮できたのか、そういった観点は大きな組織では個人評価をする上で非常に大事なことかも知れません。それゆえ重宝されるツールではありますが、本質的にはこの2パターンの比較にどれだけ時間を割いていて良いのか、もっと重要な観点があるのではないのか、といった検討を済ませた上で、実施できるとより効果的に使用できるツールと思います。
