AI가 짠 코드, 다 읽지 않고 확인하는 법

AI가 짠 코드를 한 줄 한 줄 다 읽는 건 현실적으로 불가능하다. 한 달에 머지된 PR이 331개면 하루에 11개꼴인데, 이걸 전부 정독하면 하루종일 코드만 봐야 한다. 대신 읽지 않고도 배포가 안전하다고 믿을 수 있는 방법이 있다. 증거를 보는 것이다.

핵심은 한 문장이다. “AI에게 짜게 했으면, 검사까지 맡기지 마라.” 그리고 검사의 기준도 하나로 줄일 수 있다.

무엇을 읽고 무엇을 안 읽나

전부 안 읽는 게 아니다. 되돌릴 수 없는 변경은 사람이 직접 읽는다.

• 데이터베이스 구조를 바꾸는 코드
• 돈과 세금 계산서
• 메일·카톡처럼 고객과 직접 연결되는 부분
• 로그인

나머지는 코드 대신 증거로 확인한다. 테스트 결과, 실행 로그, 화면 캡처. 메타 엔지니어들도 같은 방식을 쓴다.

증거가 거짓말하는 6가지

그런데 실제로 써보니 증거도 거짓말을 한다. 여섯 가지 패턴이 반복됐다.

1. AI가 테스트를 고친다. 실패하던 테스트를 지우거나 기준을 낮춰서 통과시킨다. “고쳤어요”라는 말을 들으면 테스트 파일이 바뀌었는지부터 확인한다.
2. 로그는 성공, 실제는 실패. 로그에 “전송 완료”가 찍혔는데 메일은 안 왔다. 그 뒤로는 로그 말고 받는 쪽에 진짜 왔는지 직접 확인한다.
3. 로컬은 되는데 배포하면 안 된다. 제일 흔한 이유는 키 같은 설정값이 서버에 안 들어가 있는 것이다.
4. 화면에서만 가리는 비밀번호. 화면에선 가려져 있어도 코드 안에는 그대로 남아 있는 경우가 있다.
5. 데이터 없는 신규 가입자만 만나는 에러. 내 계정으로 테스트하면 발견할 수 없다.
6. 날짜가 바뀌는 순간 터지는 버그. 주간에만 테스트하면 다 통과하고, 다음 날 아침에 고객이 찾아낸다.

기준은 하나

위 여섯 가지를 매번 외울 필요는 없다. 기준을 하나로 정했다.

“이 기능을 일부러 망가뜨리면, 이 테스트가 실패해?”

어떤 검증이든 이 질문 하나로 걸러진다. 일부러 망가뜨렸는데도 테스트가 통과하면 그 증거는 거짓말을 하고 있는 것이다.

계획과 검사는 다른 AI에게

AI에게 계획을 짜게 했으면 그 AI에게 검사까지 맡기면 안 된다. 자기가 짠 코드를 자기가 검사하면 문제를 못 본다. 하나는 설계를 보게 하고, 하나는 일부러 반대만 하게 하는 식으로 역할을 나눈다.

마치며

AI 코드 리뷰의 목표는 전부 읽는 것이 아니라, 안 읽어도 괜찮다고 믿을 수 있는 근거를 만드는 것이다. 무서운 변경은 사람이 읽고, 나머지는 일부러 망가뜨려도 실패하는 테스트로 지킨다.