同じ通知でも、普段ゲームをする時間に送るとアクセス率が二倍以上になりました

10月末、過去2週間に送ったアプリのプッシュ約2万6千通をあらためて分析しました。受け取ってから1時間以内にゲームを開いたかどうかだけを数えたところ、受け取った時間によって大きな差がありました。

同じプッシュでも、受け取る時間によって違いました

前の週の同じ時間に二日を超えてゲームをしていた人に送ったプッシュは、60%が1時間以内に戻ってきました。普段遊ばない時間に送ったプッシュは24%でした。夕方6時から9時の間は半分以上が戻ってきましたが、夜0時から5時の間はそれよりかなり低くなりました。

それまで私たちは、通知が発生すると昼夜を問わずすぐに送っていました。ところが、夜に送ったプッシュの半分は「いいね」のように数時間遅れてもまったく問題のない知らせでした。もともとその時間にゲームをしていた人のほうが戻りやすかった可能性もあるため、この差がすべて時間のおかげだとは言えません。それでも、急ぎでない知らせを深夜に送る理由はありませんでした。

急ぎでない通知だけを待たせることにしました

現在は通知を二つに分けています。メッセージ、コメント、友だち申請、ルーム招待、作成結果、アカウントのお知らせは、これまでどおりすぐに送ります。「いいね」、訪問数の記録、リミックス、ランキング1位を奪われたことなどは、その人の普段の時間まで待ちます。

普段の時間は、過去14日間に二日を超えてゲームを開いた時間帯としました。位置情報は見ず、ゲームを開いた時刻だけを見ます。まだ普段の時間がない人には、夕方ならすぐに、それ以外はいちばん近い夕方6時に送ります。待機するプッシュは一人につきひとつだけにしており、新しい知らせができると前のものを新しいものに置き換えます。決まった時間に何通も一度に鳴らないようにするためです。

変更した翌日の未明、運用の監視がアラートを出しました。アプリ通知146件が20分以上送られていない、というものでした。確認してみると、実際に遅れた通知はひとつもありませんでした。監視が通知の作成時刻から数えていたため、意図的に待っているプッシュを止まっているものと見なしたのです。そこで現在は、送ってよい時刻から20分以上過ぎたものだけを数えています。

戻ってきた人には、遊んでいたゲームから見せます

ホームフィードの最初の欄で20秒以内に離れる人は71%でした。読み込み速度や端末とはほとんど関係がありませんでした。ところが、戻ってきた人の最初の欄に以前3分以上遊んでいたゲームが置かれたときは、1分以上とどまった割合が二倍でした。37人だけなので傾向を見る参考にとどまる数字ですが、ほかの欄でも似た差が出ました。

そこで、戻ってきた人の最初の欄には、遊んでいたゲームのうち一日以上たったものから、いちばん長く遊んだものを入れました。同じゲームが「続きから」カードと重ならないよう、そちらからは外しました。

一緒に遊んだ人のおすすめを始めました

最初の24時間以内に友だちができた新しいユーザーは翌日に68.5%が戻ってきましたが、そうでない人は14.6%でした。ただ、そうした人はごくわずかで、もともと長く残る人が友だちもつくった可能性があります。原因とは言えない数字です。

それでも、友だちができる機会は増やしてみることにしました。同じルームで遊んだ人を記録しておき、ホームフィードのゲームの間に「知り合いかもしれないプレイヤー」の欄を一日一回入れます。最初はこのカードをゲーム画面の上に表示していましたが、スマートフォンではゲームのボタンを隠してしまいました。同じ日に、ゲームとゲームの間のひとつの欄に移しました。

いちばん多く送った通知は、アクセスを増やせませんでした

作る人の側の数字も見ました。ほかの人に自分の体験を5回を超えてプレイされたクリエイターは、一週間以内に84%が再び訪れ、一度もなければ32%でした。

そのため、「自分の体験を初めてプレイした人」の通知は効果が大きいと思っていました。いちばん多く送っていた通知でもありました。ところが、休んでいたクリエイターがこの通知を受けて3時間以内に訪れた割合は11%で、普段の8%とほとんど同じでした。私の予想は外れました。11月4日に、この通知をなくしました。

通知の効果は、受け取ってアクセスした人の数で判断します

通知がうまくいったかどうかは、送った数ではなく、受け取って戻ってきた人で見るべきでした。いちばんよく送った通知も、アクセス率を普段よりほとんど上げられませんでした。

通知をわざと遅らせて送るように変えるなら、監視の基準もあわせて直す必要があります。監視が通知の作成時刻を基準に数えると、意図した待機を障害と判断してしまいます。監視の基準は、送ってよい時刻であるべきでした。

実験なしに相関関係だけを見て変えるときは、間違っても影響の小さいものから行いました。急ぎでない知らせを数時間遅く送ることがそれにあたります。翌日に戻る割合が実際に変わるかどうかは、上の数字と比べて確認しています。