게이지 블록은 순서대로 놓였고, 기준기 하나만 유리 안에 홀로 서 있다.
Cover · Issue 071
조직의 60.8%는 기계가 낸 결과를 사람을 넣어 평가한다. 그 판단은 이제 문서로 남아야 한다.
이번에 읽은 조사 하나가 같은 자리를 세 번 확인했다. Applause가 2026년 2~3월에 실시한 「State of Digital Quality in AI 2026」이다. 소프트웨어 개발·QA·데이터사이언스·AI 리서치·프로덕트 매니지먼트 종사자 1,000명 넘게 물었다.
조직의 60.8%는 기계가 낸 결과를 사람을 넣어 평가한다고 답했다. 46.5%는 출시 가부를 사람의 감각(human sentiment)으로 정한다고 답했다. 54.4%는 파인튜닝에 사람이 만든 프롬프트·응답 데이터셋을 쓴다고 답했다.
하이라이트 문항에는 1,636명이 답했고, 문항별 표본은 607명에서 1,967명 사이를 오갔다. 조사 하나가 같은 조직을 여러 각도에서 찔러 본 셈이다.
사람의 판단은 이미 파이프라인의 부품이다. 새로 생긴 건 그 판단이 아니라, 그 판단을 문서로 적어 남기는 일이다.
지난 호에서 편집부가 본 채점표는 조직 밖에 있었다. 고객이 매겼고, 만드는 쪽은 그 점수를 나중에 전해 들었다. 이번엔 반대다. 채점표를 조직 안에서, 우리 손으로 쓴다.
이미 AI 기능을 출시했다는 응답은 54.5%였다. 그런데 44.1%는 비용이 가치를 넘어서 라이브에 올린 AI 기능을 껐다고 답했다.
테스트 예산이 개발 예산보다 빠르게 늘었다는 응답은 29.6%였고, AI 테스트 전용 예산이 아예 없다는 응답은 9.9%였다.
human-in-the-loop 모니터링에 사람을 넣는 조직은 30.7%, AI 보조 기능을 사람이 직접 테스트하는 조직은 32.8%였다. 안전·신뢰 개발에서 가장 걱정하는 건 학습 데이터 확보(17.8%)와 편향·유해성·환각 방지(16.4%)였다.
우리 데스크에서는 이 숫자들을 한 줄로 읽었다. 평가는 이미 "하고 있다"는 답이 60.8%까지 올라와 있는데, 그 평가를 무엇으로 확인할지는 아직 예산표에 없다.
Applause에서 High Tech and AI 부문 EVP를 맡은 Chris Sheehan은 이 간극에 이름을 붙였다.
"While businesses say they are conducting evals, many lack the specialized methodology and statistical rigor required to make those evaluations meaningful at scale."
평가를 하고 있다고는 말하지만, 그 평가를 사업 규모에서 의미 있게 만들 전문적인 방법론과 통계적 엄밀함은 대부분 갖추지 못했다는 뜻이다.
— Chris Sheehan, Applause EVP, High Tech and AI · 「State of Digital Quality in AI 2026」"하고 있다"와 "맞다고 확인했다"는 다른 문장이다. Sheehan이 짚은 건 그 사이의 거리다.
같은 인터뷰에서 Sheehan은 규모의 문제도 짚었다. "The frontier labs and hyperscalers are dealing with data volumes that far surpass human capacity." — 프런티어 랩과 하이퍼스케일러가 다루는 데이터 양은 사람의 처리 능력을 이미 넘어섰다는 뜻이다.
소비자 쪽 응답도 하나 곁들여 있다. 2026년 1월 1일 이후 AI 환각을 겪었다는 소비자는 40.2%였다. 이 호의 사건은 아니다 — 정답을 문서로 적어 두는 일이 왜 필요한지 보여주는 배경으로만 걸어 둔다.
Applause에서 Automation Practice를 이끄는 Senior Director Adonis Celestine은 그 문서 작업이 어디까지 번지는지를 짚었다.
"One of the main objectives of having a human tester is that they will also validate the requirements."
사람 테스터를 두는 주된 목적 중 하나는 그가 요구사항 자체도 함께 검증해 준다는 데 있다는 뜻이다.
— Adonis Celestine, Applause Senior Director, Automation Practice Leader정답을 적는 일이 결국 요구사항을 다시 쓰는 일로 번진다는 뜻이다. 우리 쪽에도 같은 자리가 있다.
라이브 운영 자동응답의 "맞는 답"을 누가 문장 단위로 적어 두는지, 로컬라이제이션 검수에서 통과 기준 문장을 파트가 직접 써야 하는 순간, 밸런스 수치의 "정상 범위"를 처음 문서에 못 박는 회의. QA는 재현 절차 대신 기대 결과를 쓰는 일로 업무가 바뀐다.
당신 팀에도 이 문서를 아직 안 써본 자리가 있을 것이다. 첫 줄을 정하는 순간이 가장 오래 걸린다.
그 문서를 만들 시간은 일정표에 없는데, 파이프라인은 이미 그 문서가 있다는 걸 전제로 돌아가는 구간이 있다.
아트 감수에서 "이건 되고 저건 안 된다"를 예시 이미지 짝으로 남기는 작업도 같은 자리다. 그 짝을 정하는 사람의 이름이 오늘은 문서 어디에도 없다.
편집부는 이걸 부담이 커졌다는 이야기로 보지 않는다. 우리 팀에서 처음으로 "맞는 결과"가 무엇인지를 글로 확정하게 된 자리라고 본다. Applause의 조사 문항 하나가 그 자리를 60.8%라는 숫자로 세었을 뿐, 그 자리에 누구 이름을 적을지는 아직 세지 못했다. 그 문서에 서명할 손이 아직 정해지지 않았을 뿐이다.
채점표가 조직 밖에 있던 자리와, 그 성적을 나중에 전해 듣는 손.