73분 걸리던 첫 게임 만들기를 새로 만들었습니다

Pogl에서는 한 문장을 쓰면 게임이 만들어집니다. 그래서 처음 온 사람이 가장 먼저 하는 일은 게임이 만들어질 때까지 기다리는 것입니다. 10월 중순, 첫 게임이 나오기까지 실제로 얼마나 걸리는지 다시 측정하기로 했습니다.

처음 측정한 숫자가 틀렸습니다

처음 계산한 중앙값은 55분이었습니다. 예상보다 짧아서 기록을 하나씩 확인했어요. 만들기를 시작한 시각이 나중에 고치기를 시작할 때 다시 기록되고 있었습니다. 첫 만들기 683건 중 셋에 하나꼴로 끝난 시각이 시작한 시각보다 앞서 있었습니다.

요청이 들어온 때부터 플레이할 수 있게 된 때까지로 기준을 고쳐 다시 셌습니다. 10월 17일부터 20일까지의 중앙값은 72.9분이었습니다. 가장 오래 걸린 10%는 두 시간을 넘겼습니다.

AI는 매번 빈 폴더에서 시작했습니다

10월 20일 저녁에 들어온 첫 만들기 30건을 단계별로 나눠 봤습니다. AI가 게임을 만드는 세션이 중앙값 70분이었고, 그중 40분 정도는 모델이 생각하고 코드를 쓰는 시간이었습니다. 나머지 시간은 대부분 브라우저로 직접 플레이해 보는 시간과 중간중간 실행하는 배포 검사에 쓰였습니다.

더 눈여겨본 것은 그다음이었습니다. 플레이할 수 있는 버전은 45분쯤에 이미 나와 있었어요. 그 뒤 26분은 다듬는 데 썼고, 세션 안에서 실행된 검사도 3분의 2가 첫 통과 이후였습니다.

시작 조건에도 문제가 있었습니다. AI는 매번 빈 폴더에서 시작했고, 혼자 하는 게임에도 여러 사람이 접속하는 서버 규칙을 직접 쓰고 있었습니다. 플랫폼에 이미 있는 기능을 게임마다 새로 만들고 있었던 것입니다.

혼자 하는 게임부터 만드는 방식을 바꿨습니다

만드는 방식을 두 가지로 나눴습니다. 혼자 하는 게임은 러너, 아레나, 플랫포머, 퀴즈처럼 기본 구조가 이미 작동하는 장르별 시작 판을 바탕으로 만듭니다. 화면 흔들림이나 효과음, 점수 표시는 플랫폼 키트에 들어 있고, 서버 규칙도 플랫폼이 기본 파일로 넣어 줍니다. 게임이 점수만 보내면 순위표에 기록됩니다. 대신 AI가 도구를 쓰고 고치는 횟수에는 상한을 뒀습니다.

여럿이 하는 게임은 일단 원래 방식을 유지했습니다. 같은 방식으로 시험한 4건이 하나도 완성되지 못했기 때문입니다.

내부 시험 10건은 모두 성공했고, 11월 2일 새벽 모든 사용자에게 적용한 뒤 운영에서도 중앙값이 4.4분이었습니다. 좋은 숫자였어요. 하지만 이 버전에는 그림과 소리 만들기, 첫 통과 뒤 다듬기, 레퍼런스와 비교하는 비평, 표지 만들기가 빠져 있었습니다.

같은 날 저녁 이 단계들을 다시 넣은 버전을 적용했고, 지금 쓰는 것도 이 버전입니다. 같은 요청으로 두 번 측정하니 13분 안팎이었고, 화면의 예상 시간 안내도 약 15분으로 고쳤습니다. 원래 방식으로 만든 게임과 플레이 화면을 어느 쪽인지 표시하지 않고 비교하게 했을 때도 이 버전이 더 자주 좋은 평가를 받았습니다. 아직 두 번 측정한 숫자라 운영 평균은 계속 확인하고 있습니다.

다듬기를 줄였다가 하루 만에 되돌렸습니다

다듬기를 조금 더 줄여 보기로 했습니다. 11월 3일 저녁, 혼자 하는 게임 만들기를 무작위로 반씩 나눠 한쪽만 다듬기를 짧게 했어요.

5시간 동안 나눈 게임들의 결과는 예상과 달랐습니다. 다듬기를 짧게 한 쪽에서 만든 뒤 24시간 안에 고치기를 요청한 비율이 28%에서 41%로 올랐습니다. 공개한 비율은 양쪽이 같았습니다.

만드는 시간을 줄인 만큼 만든 사람이 고치기를 더 요청한 것입니다. 다음 날 이 시험을 중단했습니다.

여럿이 하는 게임은 3D 요청에서 문제가 있었습니다

여럿이 하는 게임도 새 방식으로 바꾸는 중입니다. 방과 접속 처리는 플랫폼 파일이 담당하고 AI는 규칙과 그림만 쓰게 했더니 내부 시험 14건이 모두 성공했습니다. 그런데 11월 3일 운영에 적용해 보니 요청의 62%가 3D였고, 3D 시작 판이 없어서 대부분 원래 방식으로 만들어졌어요. 다음 날 3D 시작 판을 추가했고 운영 숫자는 아직 측정하고 있습니다.

만드는 시간과 함께 그 뒤의 고치기 요청도 봅니다

속도를 측정하기 전에 시각이 어떻게 기록되는지부터 확인해야 했습니다. 고치기가 시작 시각을 덮어써서 처음 숫자는 실제보다 20분 가까이 짧았습니다.

오래 걸린 이유는 모델의 속도보다 시작 조건에 있었습니다. 이미 작동하는 게임을 오래 다듬었고, 플랫폼에 있는 기능을 매번 새로 만들었습니다. 그래서 저희는 AI가 작업을 시작하는 조건을 바꿨습니다.

만드는 시간만 보면 다듬기를 줄인 쪽이 나았지만, 만든 사람이 그 뒤에 한 행동까지 함께 보니 결과가 더 나빴습니다. 그래서 속도 실험에서는 그 뒤의 고치기 요청 비율도 함께 측정합니다.