같은 알림도 평소 게임을 하는 시각에 보내니 접속률이 두 배 넘게 높았습니다

먼저 훑어보고 정리했어요

같은 푸시라도 평소 게임을 하던 시각에 받은 사람이 훨씬 많이 돌아왔고, 밤에 나간 푸시의 절반은 급하지 않은 소식이었습니다.
급하지 않은 알림은 그 사람의 평소 시각까지 기다리게 했고, 돌아온 사람의 첫 칸에는 하던 게임을, 피드 사이에는 같이 논 사람을 넣었습니다.
가장 많이 나가던 알림이 접속을 거의 늘리지 못한다는 것을 확인하고, 그 알림은 없앴습니다.

10월 말, 지난 2주 동안 나간 앱 푸시 약 2만 6천 통을 다시 분석했습니다. 받은 뒤 1시간 안에 게임을 열었는지만 셌는데, 받은 시각에 따라 차이가 컸어요.

같은 푸시도 받는 시각에 따라 달랐습니다

지난주 같은 시각에 이틀 넘게 게임을 했던 사람에게 간 푸시는 60%가 1시간 안에 돌아왔습니다. 평소 안 노는 시각에 간 푸시는 24%였습니다. 저녁 6시부터 9시 사이에는 절반 넘게 돌아왔고, 밤 0시부터 5시 사이는 그보다 한참 낮았습니다.

그때까지 저희는 알림이 생기면 밤낮없이 바로 보냈습니다. 그런데 밤에 나간 푸시의 절반은 좋아요처럼 몇 시간 늦어도 아무 문제 없는 소식이었어요. 원래 그 시각에 게임을 하던 사람이 더 잘 돌아왔을 수도 있으니 이 차이가 전부 시각 덕분이라고 말할 수는 없습니다. 그래도 급하지 않은 소식을 새벽에 보낼 이유는 없었습니다.

급하지 않은 알림만 기다리게 했습니다

이제 알림을 두 갈래로 나눕니다. 메시지, 댓글, 친구 신청, 방 초대, 만들기 결과, 계정 소식은 지금처럼 바로 갑니다. 좋아요, 방문 기록, 리믹스, 리더보드 1위를 뺏긴 일 같은 것은 그 사람의 평소 시각까지 기다립니다.

평소 시각은 지난 14일 동안 이틀 넘게 게임을 연 시간대로 정했습니다. 위치 정보는 보지 않고 게임을 연 시각만 봅니다. 아직 평소 시각이 없는 사람에게는 저녁이면 바로, 그 밖에는 가장 가까운 저녁 6시에 보냅니다. 기다리는 푸시는 사람마다 하나만 둬서, 새 소식이 생기면 이전 것을 새 것으로 바꿉니다. 정해진 시각에 여러 통이 한꺼번에 울리지 않게 하려고요.

알림이 생기면 먼저 급한 소식인지 가릅니다. 급하지 않은 것만 그 사람의 평소 시각까지 기다립니다.

바꾼 다음 날 새벽에 운영 감시가 경보를 울렸습니다. 앱 알림 146개가 20분 넘게 나가지 않았다는 거였어요. 확인해 보니 실제로 늦은 알림은 하나도 없었습니다. 감시가 알림이 만들어진 시각으로 세다 보니 일부러 기다리는 푸시를 멈춘 것으로 본 겁니다. 그래서 이제는 보내도 되는 시각에서 20분이 넘게 지난 것만 셉니다.

돌아온 사람에게는 하던 게임부터 보여 줍니다

홈 피드의 첫 칸에서 20초 안에 나가는 사람이 71%였습니다. 로딩 속도나 기기와는 거의 상관이 없었어요. 그런데 돌아온 사람의 첫 칸에 예전에 3분 넘게 하던 게임이 놓였을 때는 1분 넘게 머문 비율이 두 배였습니다. 37명뿐이라 경향만 참고하는 숫자지만, 다른 칸에서도 비슷한 차이가 났습니다.

그래서 돌아온 사람의 첫 칸에는 하루 넘게 지난 하던 게임 중 가장 오래 논 것을 넣었습니다. 같은 게임이 «이어하기» 카드에 겹쳐 뜨지 않게 그쪽에서는 뺐고요.

막대 길이는 실제 비율에 맞췄습니다. 가운데 비교는 37명뿐이라 경향만 참고하는 숫자입니다.

같이 논 사람을 추천하기 시작했습니다

첫 24시간 안에 친구가 생긴 새 사용자는 다음 날 68.5%가 돌아왔고, 아닌 사람은 14.6%였습니다. 다만 그런 사람은 아주 드물고, 원래 오래 남을 사람이 친구도 사귀었을 수 있습니다. 원인이라고 할 수 없는 숫자예요.

그래도 친구가 생길 기회는 늘려 보기로 했습니다. 같은 방에서 논 사람을 기록해 두고, 홈 피드의 게임 사이에 «알 수도 있는 플레이어» 칸을 하루 한 번 넣습니다. 처음엔 이 카드를 게임 화면 위에 띄웠는데 폰에서 게임 단추를 가렸습니다. 같은 날 게임과 게임 사이의 한 칸으로 옮겼습니다.

가장 많이 보낸 알림은 접속을 늘리지 못했습니다

만드는 사람 쪽 숫자도 봤습니다. 다른 사람이 자기 경험을 5번 넘게 플레이한 창작자는 일주일 안에 84%가 다시 왔고, 한 번도 없으면 32%였습니다.

그래서 «내 경험을 처음 해 본 사람» 알림이 효과가 클 줄 알았습니다. 가장 많이 나가던 알림이기도 했고요. 그런데 쉬던 창작자가 이 알림을 받고 3시간 안에 들어온 비율은 11%로, 평소 8%와 거의 같았습니다. 제 예상이 틀렸습니다. 11월 4일에 이 알림을 없앴습니다.

알림의 효과는 받고 접속한 사람 수로 판단합니다

알림이 잘 됐는지는 보낸 수가 아니라 받고 돌아온 사람으로 봐야 했습니다. 가장 자주 보낸 알림도 접속 비율을 평소보다 거의 높이지 못했어요.

알림을 일부러 늦게 보내도록 바꾸면 감시 기준도 같이 고쳐야 합니다. 감시가 알림이 만들어진 시각을 기준으로 세면, 의도한 대기를 장애로 판단합니다. 감시 기준은 보내도 되는 시각이어야 했습니다.

실험 없이 상관관계만 보고 바꿀 때는 틀려도 피해가 적은 것부터 했습니다. 급하지 않은 소식을 몇 시간 늦게 보내는 일이 여기에 해당합니다. 다음 날 돌아오는 비율이 실제로 바뀌는지는 위 숫자와 비교해서 확인하고 있습니다.