보고서의 문장은 매끄럽고 추천안도 명확합니다. 자료가 어디에서 왔는지 묻기 전까지는 회의에서 바로 결정해도 될 것 같습니다.
검토자는 경험 많은 전문가입니다. 그런데도 잘못된 결론을 통과시킬 수 있을까요?
BCG 컨설턴트들이 참여한 실험에서는 AI를 쓴 쪽의 성과가 좋아지는 과제와 정답률이 낮아지는 과제가 함께 나왔습니다. 경력자의 존재만으로 검토를 끝내기 어려운 이유를 살펴볼 만합니다.
한 실험 안에서 AI의 효과가 뒤집혔습니다
연구에는 BCG 컨설턴트 758명이 참여했습니다. 참가자들은 AI 없이 일하거나 GPT-4를 쓰는 등의 조건에 배정됐습니다. 연구는 2023년 당시 모델을 사용했고, 2026년 학술지에 출판됐습니다. AI가 잘 수행하도록 선정된 18개 과제에서는 AI 활용자가 과제를 평균 25.1% 더 빨리 마쳤습니다. 논문 원문
다른 과제에서는 표와 사내 인터뷰를 함께 읽고 성장 가능성이 큰 브랜드를 추천해야 했습니다. 표만으로 충분해 보였지만 인터뷰의 단서를 반영해야 했습니다. AI가 어려워하도록 선정된 이 과제의 정답률은 AI 없는 집단이 약 84.5%, AI 활용 두 조건은 60%와 70.6%였습니다. 두 조건을 합쳐 비교하면 약 19%포인트 낮았습니다. 2026년 출판본 §5·그림 5
이 결과는 경력 연수가 길수록 AI에 속는다는 뜻이 아닙니다. 모든 업무나 현재 모델의 오류율로 확대할 수도 없습니다. 특정 과제에서 전문직 참가자도 AI와 함께 틀릴 수 있었다는 점이 확인됐습니다.
보고서 검토를 ‘읽어봤다’로 끝내지 않으려면
여기서부터는 이 실험을 우리 팀의 검토 방식에 적용해보는 제안입니다.
마케팅 보고서 한 편에도 여러 작업이 섞여 있습니다. 자료를 모으고 수치를 집계한 뒤 변화의 이유를 설명하고 예산을 어디에 쓸지 제안합니다. 이 가운데 한 단계를 잘했다고 나머지 단계도 통과시켜서는 곤란합니다.
가상의 예로, AI가 ‘문의 증가’라는 수치를 정확히 요약했더라도 증가 이유가 광고였는지는 따로 확인해야 합니다. 시즌 행사나 가격 변경의 영향일 수 있습니다. 예산을 늘리라는 제안까지 받아들이려면 더 많은 자료가 필요합니다.
검토자에게 보고서를 읽었다는 확인 대신 결론을 뒷받침하는 원자료를 표시해달라고 요청해보세요. 수치가 맞는지와 그 수치에서 해당 결론이 나오는지를 각각 살펴보는 방식입니다.
AI와 의견이 같은지보다, 무엇을 대조했는지 남기세요
검토 기록에는 ‘이상 없음’ 대신 확인한 대상과 근거를 적을 수 있습니다.
예를 들어 ‘전환율 확인’이라고 쓰기보다 집계 기간과 전환 정의, 원본 자료의 위치를 적습니다. 원인 설명 옆에는 확인된 사실인지 아직 검증하지 않은 가설인지 표시합니다. 결론을 보류했다면 다음 판단에 어떤 정보가 필요한지도 남깁니다.
같은 AI에게 자신의 답을 다시 평가해달라고 요청하는 작업도 보조적으로 쓸 수 있습니다. 다만 원자료를 대조한 기록과 구분해서 적으세요. 답변을 다시 읽었다는 사실과 외부 근거를 확인했다는 사실은 각각 확인돼야 합니다.
검토자는 다음 순서로 메모를 남겨볼 수 있습니다.
검토 지점
남길 메모
입력 자료
빠진 자료와 집계 조건은 무엇인가
사실 확인
원자료와 맞춰본 수치·문장은 무엇인가
해석
확인된 원인과 아직 남은 가설은 무엇인가
실행 판단
결정할 수 있는 범위와 보류할 범위는 어디인가
이 표는 논문에서 검증한 절차가 아니라, 팀이 검토 범위를 합의할 때 사용할 수 있는 예시입니다.
전문가의 역량은 답을 멈추는 순간에도 드러납니다
전문가를 찾는다면 완성된 결과물과 함께 결론을 바꾼 기록을 확인해보세요. 추가 자료를 보고 판단을 수정했는지, 어떤 정보가 없어서 제안을 보류했는지 물어볼 수 있습니다.
직무 경험을 바탕으로 AI 결과를 판단하는 시간제 전문가에게도 이 기준을 적용할 수 있습니다. 정기 보고서를 검토한다면 최종 문서와 대조 기록, 미확인 항목을 산출물로 합의하는 식입니다. 실제 수행 범위는 맡길 업무와 필요한 대응 시간에 맞춰 정해야 합니다.
판단을 보류한 이유가 구체적이라면 그것도 검토의 결과로 남겨두세요. 자료가 부족한 상태에서 확신에 찬 추천안을 만드는 것보다 회사가 다음에 확인할 일을 정하는 데 도움이 될 수 있습니다.
다음 보고서 검토에서는 ‘맞는 답인가요?’에 이어 이렇게 물어보세요. ‘어떤 자료를 대조했으며, 아직 확인하지 못한 것은 무엇인가요?’
자료 안내: 해외 연구를 바탕으로 새로 작성한 한국어 요약·해설입니다. 실험 결과는 당시 모델과 특정 과제에 한정됩니다. 검토표와 채용 질문은 플렉스웍의 실무 적용 제안입니다. 연구는 시간제 채용의 효과나 특정 경력 연수의 우위를 입증하지 않았습니다.
원문: Dell’Acqua 외, Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality, Organization Science, 2026년 3월 11일 온라인 출판. DOI · HBS 공개 PDF
원문 저작권: Organization Science. Copyright © 2026 The Author(s). 원문은 CC BY 4.0으로 공개돼 있습니다. 이 글은 원문의 일부 결과를 한국어로 요약하고 실무 해설을 덧붙였습니다.
썸네일: AI로 제작한 업무 장면 이미지이며 실제 기업 현장 사진이 아닙니다.
