“고쳤어요”를 그대로 믿지 않기로 했습니다

먼저 훑어보고 정리했어요

고치기 요청에 AI가 «고쳤어요»라고 답했지만 실제 게임은 그대로인 경우가 적지 않았습니다. 끝났다는 근거가 고친 AI의 보고뿐이었어요.
고친 AI가 화면에서 직접 재현하고 다시 확인하게 했고, 다른 모델이 전후 화면과 바뀐 코드를 보고 항목마다 판정하게 했습니다.
판정도 틀렸습니다. 잘못 나온 «안 됨»은 대부분 판정 모델에 보여 준 화면과 코드가 부족해서였고, 효과가 없던 재시도는 같은 날 뺐습니다.

Pogl에서는 만든 게임을 말로 고칩니다. «벽을 더 높게», «지형을 산처럼» 같은 요청을 보내면 AI가 코드를 고치고 결과를 답으로 알려 줍니다.

한동안 커뮤니티에 비슷한 글이 여러 번 올라왔습니다. 고쳐 달라고 했는데 그대로라는 글이었어요. 기록을 열어 보니 정말 그랬습니다. AI는 «고쳤어요»라고 답했는데 게임은 바뀌지 않은 경우가 적지 않았습니다.

원인은 확인 방식에 있었습니다. 고치기가 끝났다는 근거가 고친 AI 자신의 보고 하나뿐이었습니다. 작업한 AI가 자기 작업의 완료 여부를 직접 판단하고 있었던 겁니다.

먼저 고치는 AI가 화면에서 직접 확인하게 했습니다

처음 바꾼 것은 고치는 AI의 작업 순서였습니다. 요청을 항목으로 나누고, 항목마다 어느 화면에서 무엇이 보이면 고쳐진 것인지를 먼저 한 줄로 적게 했습니다. 그다음 브라우저에서 문제를 직접 재현하고, 고친 뒤에는 같은 입력으로 다시 확인합니다. 코드만 읽고 짐작한 원인이 자주 틀렸기 때문입니다.

같은 고치기 24건으로 시험해 보니 요청이 실제로 반영된 비율이 67%에서 90%로 올랐습니다. 24건짜리 시험이라 운영에서는 따로 재기로 했습니다.

같은 고치기 24건으로 한 시험에서 요청이 실제로 반영된 비율.

완료 여부는 다른 모델이 판정하게 했습니다

스스로 확인하게 해도 여전히 자기 보고입니다. 그래서 고친 AI와 다른 모델을 하나 더 두었습니다. 이 판정 모델은 요청 글, 고치기 전 화면, 고친 뒤 화면, 코드에서 바뀐 부분을 같이 봅니다. 창작자가 «이것처럼» 하고 붙인 그림이 있으면 그것도 봅니다. 그리고 항목마다 «됨», «안 됨», «확인 못 함» 중 하나를 냅니다.

«안 됨»이 나오면 그 이유를 전달해서 한 번 더 고칩니다. 판정이 난 고치기는 답장도 판정 결과로 씁니다. 다만 고친 AI는 다 됐다고 하는데 판정만 «안 됨»이라면, 실패라고 적지 않고 «확인 못 함»으로 보여 드립니다. 판정도 틀릴 수 있으니까요.

고치기 한 번의 흐름. 고친 AI의 보고와 별개로, 다른 모델이 전후 화면과 코드 변경을 보고 항목마다 판정한다.

판정도 첫날부터 틀렸습니다

운영 첫날부터 틀린 판정이 나왔습니다. 처음 쓴 판정 모델이 화면 속 작은 글자를 잘못 읽어서, 이미 반영된 고치기를 «안 됨»으로 봤습니다. 작은 글자를 더 잘 읽는 모델로 바꿨습니다.

코드 변경을 1만 4천 자에서 잘라 보여 준 탓에 이미 있는 기능을 못 찾은 일도 있었습니다. 보여 주는 양을 4만 자로 늘렸고, 묻는 말도 «바뀌었나»에서 «요청한 방향으로 바뀌었나»로 고쳤습니다.

다음 날엔 지난 14일치 판정에서 표본을 뽑아 다시 봤습니다. 잘못 나온 «안 됨»은 거의 다 첫 화면 한 장에 안 보이는 변경이었습니다. 메뉴 뒤에 있거나, 시작 단추를 눌러야 나오거나, 몇 초 지나야 보이는 것들이요. 두 묶음에서 각각 22건 중 19건, 15건 중 13건이 그랬습니다. 그래서 지금은 화면 한 장만 보고 «안 됨»을 내리지 않습니다.

넣었다가 같은 날 뺀 기능도 있습니다

«확인 못 함»이 나온 고치기도 한 번 더 돌리면 나아질 거라고 생각했습니다. 넣어 보니 운영 첫 한 시간 동안 44건 중 32건이 다시 돌았고, 고치기 한 번에 드는 작업량이 평소의 두 배 가까이 늘었습니다. 시험에서도 품질이 나아지는 모습은 보이지 않았습니다. 잘못된 «됨»은 판정 단계에서 이미 걸러지고 있었기 때문에, 같은 날 뺐습니다.

지금은 «됨»의 비율을 지켜봅니다

최근 한 시간 동안 판정이 난 고치기 중 «됨»의 비율을 계속 봅니다. 20건 이상 쌓인 상태에서 이 값이 90% 아래로 두 번 연달아 떨어지면 알림이 옵니다. 이미 남는 판정 기록을 세기만 하는 거라 따로 더 돌리는 건 없습니다. 처음 잰 값은 98%였어요.

운영 고치기 129건을 같은 판정으로 다시 돌려 본 점검에서는, «됨»과 «안 됨»으로 갈린 94건 중 87건이 «됨»이었습니다. 아직 해결하지 못한 것은 «확인 못 함»으로 나온 19건입니다. «사진처럼 똑같이», «실제처럼»같이 취향이 걸린 요청에서는 판정 결과가 아직 일정하지 않습니다. 그래서 판정이 보는 화면을 시작 단추를 누르기 전, 판에 들어간 뒤, 10초가 지난 뒤의 세 장으로 늘리고 있습니다.

정리하며

작업한 AI의 «다 했어요»는 완료의 근거로 쓰지 않습니다. 스스로 확인하게 하는 것도 도움이 됐지만, 완료 여부는 작업하지 않은 모델이 전후 화면을 비교해서 판정해야 했습니다.
판정이 틀리면 판정 모델의 성능보다 저희가 보여 준 자료가 충분했는지를 먼저 확인합니다. 잘못 나온 «안 됨»의 대부분은 화면 한 장, 잘린 코드처럼 판정이 볼 수 없는 곳에 변경이 있던 경우였습니다.
안전장치를 더할 때도 효과를 측정한 뒤에 남깁니다. 다시 돌리기는 고치기 작업량을 두 배 가까이 늘렸는데 결과는 나아지지 않았습니다.