Cover · Issue 068
"터치패드는 한쪽 숫자를, 벽시계는 다른 숫자를 가리킨다."
TSTF MAG · 2026
같은 도구를 쥐고도 체감과 계측이 반대를 가리킬 때, 무엇을 성과로 셀지는 누가 정하나.
금요일 오후, 스프린트 리뷰 시간이다. 화면에 지난 2주치 처리량 그래프가 뜬다. 회의실에 있는 사람 대부분이 그 숫자가 뜨기를 기다린다.
누군가 커밋 수, 병합된 PR 개수, 닫힌 티켓 수를 화면에 띄운다. 지난 스프린트보다 늘었다. 여기저기서 고개를 끄덕인다. "확실히 빨라졌네요." 누군가 그렇게 말하고, 그 문장에 반박하는 사람은 거의 없다.
그 순간 회의실에 있던 사람들 표정이 비슷해진다. 손끝으로 느낀 감각과 화면에 뜬 숫자가 같은 방향을 가리킨다고 믿는 표정이다.
이번 호가 붙잡은 사건은 그 표정이 늘 맞지는 않는다는 것이다. 도구를 되돌린 것도 아니고, 도입을 늘리거나 줄인 것도 아니다. 산출량은 오히려 늘었다. 그런데 같은 도구를 그대로 쥔 채로, 손끝의 체감과 스톱워치의 기록이 서로 다른 답을 낸 사건이 하나 있다.
이번에 찾아 읽은 자료는 METR(Model Evaluation and Threat Research)이 2025년 7월 10일 공개한 무작위 대조 시험이다.
자기 오픈소스 저장소를 평균 5년 다뤄온 숙련 개발자 16명을 모았다. 이들에게 실제로 처리해야 할 버그 수정, 기능 추가, 리팩터링 과제 246건을 배정했다. 과제 하나당 평균 소요 시간은 2시간짜리였다.
과제 절반은 Cursor Pro와 Claude 3.5·3.7 Sonnet 같은 AI 도구를 쓰도록 허용했고, 나머지 절반은 평소처럼 손으로 풀게 뒀다.
결과는 이랬다. AI 사용이 허용된 과제 쪽이 완료까지 19% 더 오래 걸렸다.
더 흥미로운 숫자는 따로 있다. 실험을 시작하기 전, 같은 개발자들에게 미리 물었다. 이들은 AI 덕분에 24% 빨라질 거라 예상했다. 실험을 다 마친 뒤 다시 물었을 때도, 이들은 여전히 20% 빨라졌다고 답했다. 스톱워치는 19% 늦어졌다고 적었고, 손끝은 20% 당겨졌다고 우겼다.
METR은 이 결과를 공개하면서 스스로 선을 그었다. "이 결과가 AI 시스템이 지금 대다수 개발자를 느리게 만든다는 증거는 아니"라고 명시했고, 표본이 개발 업무 전체를 대표한다고 주장하지도 않았다.
원문에는 "이 결과는 낡았다"는 문구까지 달려 있다. 2026년 2월 후속 연구가 최신이며, 그쪽에서는 속도가 붙는 징후가 일부 나왔다는 안내다. 그래서 이 19%는 오늘의 사실이 아니라 2025년 초, 특정 도구 조합에서 나온 한 번의 계측으로만 읽어야 한다.
처음 이 19%를 읽었을 때 우리도 잠깐 "역시 AI가 발목을 잡는구나" 쪽으로 기울었다. 그런데 METR이 직접 붙인 부인문을 마저 읽고, 곧이어 Google Cloud의 DORA 2025 보고서를 펼치면서 그 생각을 접었다.
DORA 2025는 지난 조사와 달리 AI 도입이 소프트웨어 배포 처리량, 제품 성과와 양(+)의 관계로 돌아섰다고 보고했다. 다만 배포 안정성과의 관계는 여전히 음(-)으로 남았다. 변경량이 늘어나는 만큼, 자동화된 테스트와 버전관리, 빠른 피드백 같은 통제 장치가 약한 팀에서는 불안정만 함께 커진다는 관찰이다.
두 보고서가 반대 방향을 가리킨 이유도 여기 있다고 본다. 한쪽은 숙련 개발자 한 명이 익숙한 저장소에서 과제 하나를 끝낼 때까지 걸린 시간을 스톱워치로 쟀고, 다른 한쪽은 조직이 얼마나 자주 배포에 성공하고 그 배포가 얼마나 안정적인지를 물었으니, 같은 도구를 두고도 애초에 다른 계측기를 들이댄 셈이다. 잰 대상이 다르면 답도 갈린다.
DORA 2025 주저자 Nathen Harvey는 이 구조를 한 문장으로 정리했다.
"AI is an amplifier. AI will amplify the great parts of your organization, but if there is dysfunction, it will make you have more dysfunction."
AI는 증폭기다. 조직에 있는 좋은 부분을 증폭시키지만, 이미 기능장애가 있다면 그 기능장애를 더 키운다는 뜻이다.
— Nathen Harvey · DORA 2025 보고서 주저자, Jellyfish 인터뷰같은 도구를 쥐고도 방향이 갈린 이유가 여기 있다. 도구는 있던 습관을 지우지 않는다. 있던 습관을 그대로 키운다.
TSTF 회고 자리에도 비슷한 장면이 있을 법하다. 같은 스프린트, 같은 AI 도구를 깐 두 파트가 정반대 소감을 낸다. 한쪽은 "확실히 편해졌다"고 하고, 한쪽은 "체감상 그대로다"라고 한다. 빌드 수는 늘었는데 핫픽스 건수도 같이 늘어서, 그 둘을 한 장의 대시보드에 나란히 올리지 못하는 자리도 있을 것이다.
당신 팀에도 이런 회고 자리가 있을 것이다. 누군가 처리량 그래프를 띄우고, 누군가는 손끝의 감각을 말로 옮긴다. 둘 다 거짓말은 아니다. 다만 둘이 재는 대상이 다를 뿐이다.
편집부는 이번 사건을 손실이 아니라 증폭기로 읽는다. 도구가 성과를 새로 만드는 게 아니라, 그 팀에 이미 있던 습관—테스트를 촘촘히 짜는 습관이든, 대충 넘어가는 습관이든—을 그대로 키운다고 본다. 그렇다면 회고 자리에서 먼저 물어야 할 질문은 "빨라졌어요?"가 아니라 "그 문장, 무엇으로 잰 거예요?"일 것이다.
우리 회고록의 그 줄—"이번 스프린트 빨랐다"—은 누가, 무엇으로 재서 적은 문장인가.
면접장에서 AI 사용을 금지할지 요구할지가 회사마다 정반대로 갈린 이야기.