AI에게 원하는 기능을 설명하면 화면과 코드가 만들어집니다. 하지만 회사에서 사용할 시스템은 화면이 나오는 것만으로 끝나지 않습니다. 실제 업무 순서에 맞는지, 스마트기기에서도 제대로 누를 수 있는지, 어떤 사용자도 어떤 설명 없이 일을 수행할 수 있는지까지 확인해야 합니다.
저는 AI 코딩 에이전트와 함께 경비 정산 ERP를 만들었습니다. 기안자가 법인카드나 개인 현금으로 지출한 내역의 영수증을 증빙으로 첨부하고, 회사 내규에 맞춰 문서를 작성해 상신하는 시스템입니다. 결재자가 승인하면 처리 담당자가 SAP으로 후속 처리를 합니다.
기존 전자결재는 10년 넘게 사용한 시스템이었습니다. 이번에는 모바일 작성과 결재 승인, 실제 업무 흐름에 맞춘 작성 순서, 사용자 가이드를 더했습니다. 이 글에서는 파일럿 오픈을 준비하기까지의 과정을 되짚어 보고자 합니다.
이 과정에서 직접 만든 roadmap을 비롯해 Superpowers, Ponytail, agent-browser, ELI5를 사용했습니다. 여기서 스킬은 AI가 특정 작업에서 따라야 할 절차와 판단 기준을 다시 사용할 수 있게 정리한 것입니다. 중요한 것은 다섯 개를 정해진 순서대로 실행하는 일이 아니라, 작업마다 무엇을 맡기고 어떤 결과를 확인할지 정하는 일이었습니다.

처리 담당자가 있는 정산 문서의 업무 흐름과 개발 도구의 역할을 공개용으로 단순화한 도식입니다. Ponytail은 구현 전반에 적용했고, agent-browser는 검증과 가이드 촬영에 함께 사용했습니다.
1. roadmap: 일을 나누되, 무엇부터 할지는 제가 정합니다
작업 단위가 크거나 여러 작업의 연결 관계가 복잡하면 roadmap을 사용합니다. 한 번의 긴 대화에 모두 맡기기보다, 세션마다 끝낼 일과 먼저 끝나야 할 일을 문서로 남깁니다. 다른 기기에서 작업을 이어 갈 때도 로드맵에 정리된 프롬프트를 새 대화에 붙여 넣어 시작할 수 있습니다.
정산서 작성은 증빙을 올리는 일부터 시작합니다. 모바일에서 증빙을 한 건씩 추가하던 흐름을 여러 건을 한 번에 올리고 분류하는 방식으로 바꾸려 했습니다. 증빙마다 비용 분류를 고르고, 그 분류에 따라 입력 항목이 달라져 화면뿐 아니라 임시저장 방식까지 함께 바꿔야 했습니다.
roadmap은 이 작업을 네 세션으로 나누고, 함께 진행할 수 있는 작업과 먼저 끝내야 할 작업을 이유와 함께 정리했습니다. 저는 구현 계획을 검토하다가 PC와 모바일에서 사용하는 데이터 필드명을 먼저 맞추자는 조건을 더했습니다. 같은 의미의 데이터가 화면마다 다른 이름으로 남은 채 새 흐름을 만들지 않기 위해서였습니다.
그 조건에 따라 구현 작업은 이름을 맞추는 세션과 새 흐름을 만드는 세션으로 다시 나뉘었습니다. 중요한 것은 세션 개수보다 작업의 순서였습니다. AI가 일을 나누더라도, 어떤 기준을 먼저 맞출지는 사람이 판단해야 합니다.
물론 나눈 계획이 항상 적절한 것은 아닙니다. 다른 작업에서는 지나치게 잘게 나눈 세션을 제가 다시 합쳤습니다. 로드맵에 적힌 진행 상태와 실제 코드가 다른 경우도 있어, 새 세션을 시작할 때 코드로 상태를 다시 확인하게 했습니다. 작업과 기록이 쌓여 다음 프롬프트를 찾기 어려워졌을 때는 지금 할 일을 맨 위로 올리고 완료한 세션은 별도로 보관했습니다.
2. Superpowers: 지난 판단을 남기되, 그 전제까지 믿지는 않습니다
각 작업에서는 Superpowers로 설계와 구현 계획을 남겼습니다. 설계에는 무엇을 왜 만들지, 구현 계획에는 어떤 정보를 바탕으로 어떤 순서로 구현하고 확인할지를 적습니다. 이후 수정이 생겼을 때도 당시의 선택과 전제를 다시 찾아볼 수 있습니다.
문서를 제가 처음부터 끝까지 모두 읽은 것은 아닙니다. 원격으로 작업할 때는 문서를 열 수 있어도 긴 내용을 꼼꼼히 읽기 어려울 때가 있었습니다. 저는 채팅으로 요약과 설명을 받아보며 판단하였고, AI가 그 결정을 문서에 기록하도록 했습니다.
이 기록은 PC의 결재 문서 화면을 기존 전자결재와 맞추던 작업에서 도움이 됐습니다. 구현 계획을 검토하면서 당시 확인할 방법이 없는 기능 하나를 보류하기로 했습니다. AI는 그 결정과 이유를 설계와 계획에 남겼습니다.
다음 날에는 긴 대화가 요약되어 전날의 대화가 그대로 남아 있지 않았습니다. 제가 보류한 기능을 묻자 AI는 커밋과 설계 문서에서 기록을 찾아 결정과 이유를 답했습니다. 문서에서 보류 결정을 반영하지 않은 문장 두 곳도 함께 알려 주었습니다.
하지만 기록이 있다고 그 판단의 전제까지 맞는 것은 아니었습니다. 나중에 보류했던 기능을 다시 구현할 때 AI는 기존 시스템과 같은 방식으로 만들었습니다. 그런데 AI가 작성한 조회 쿼리로 기존 시스템을 직접 확인해 보니, 그 기능은 이미 동작하지 않고 있었습니다. 결국 해당 기능은 걷어 냈습니다.
이 경험에서 문서의 역할을 분명히 구분하게 됐습니다. 문서는 왜 그렇게 결정했는지 찾게 해 줍니다. 그때 참고한 정보가 지금도 맞는지는 별도로 확인해야 합니다.
3. Ponytail: 단순한 구현의 한계를 보고 범위를 조정합니다
Ponytail은 작업 끝의 코드 정리뿐 아니라 세션이 시작될 때마다 적용되도록 설정했습니다. 기존 기능으로 해결할 수 있는지 먼저 살폈습니다. 간단한 방법을 택했을 때 생기는 한계와, 언제 다른 방법이 필요한지도 코드에 메모하도록 했습니다.
정산서를 작성할 때 조직도에서 사람이나 부서를 선택하는 기능이 있습니다. 그런데 상위 부서를 선택해도 하위 부서 사람은 추가되지 않는 문제가 있었습니다.
AI는 이를 고치면서 서버 API를 새로 만들지 않고, 화면에서 부서별로 조회하는 방법을 택했습니다. 대신 맨 위의 회사 항목을 선택하면 전체 부서 수만큼 요청이 나갈 수 있다는 한계를 보고했습니다. 속도가 문제가 되면 하위 부서 인원을 한 번에 조회하는 서버 기능이 필요하다는 내용도 주석에 남겼습니다.
저는 서버 작업을 추가하기보다 문제가 생길 수 있는 범위를 줄이기로 했습니다. 회사 전체를 선택하는 체크박스를 없애고, 한 번에 선택할 수 있는 가장 큰 단위를 본부 하나로 제한했습니다. AI는 바뀐 범위에 맞춰 주석에 적힌 제약 사항도 수정했습니다.
이 사례는 코드가 짧아졌다는 이야기보다, 단순한 구현을 어디까지 사용할지 선택한 경험입니다. 다만 테스트로만 확인했고 브라우저에서는 확인하지 않았다는 보고도 받았습니다. 요청 수가 실제 속도에 미치는 영향은 측정하지 않았습니다. 기능 범위를 줄인 선택이 성능 문제까지 해결했다고 말할 단계는 아니었습니다.
4. agent-browser: 제 추측이 틀렸을 때 실제 화면이 답을 줬습니다
모바일에서 결재를 승인할 수 있게 만들면서, 화면 아래에 홈이나 결재 화면으로 이동하는 탭을 두었습니다. 그런데 정산서 작성 화면에 들어갔다가 돌아오면 결재 탭을 두 번 눌러야 이동하는 문제가 있었습니다. 저는 화면 이동 기록이 꼬인 것이라고 생각했습니다.
AI는 agent-browser로 휴대폰 크기의 화면을 열고 제가 겪은 순서대로 화면을 오가며 재현했습니다. 이어 탭의 좌표를 재서 눌러 보니, 같은 탭에서도 아이콘을 누르면 이동했지만 글자를 누르면 반응하지 않았습니다.
원인은 화면 이동 기록이 아니었습니다. 닫혀 있는 하단 시트가 화면 아래쪽에 20px 높이의 보이지 않는 스와이프 영역을 남겨 두고 있었습니다. 그 영역이 탭의 글자 부분을 덮어 클릭을 가로막았던 것입니다.
AI는 공용 컴포넌트의 옵션 한 줄을 바꿨습니다. 같은 좌표를 다시 눌러 이동하는지 확인하고, 같은 문제가 다시 생기면 자동으로 알아낼 수 있는 테스트도 추가했습니다. 조사 중 함께 발견된 다른 결함을 고칠지는 제가 정했습니다.
제가 맡은 것은 증상을 알리고 수정 범위를 판단하는 일이었습니다. 원인은 AI가 실제 화면을 조작하고 좌표를 재면서 찾았습니다. 이때 검증한 환경은 실제 안드로이드 기기가 아니라 데스크톱 브라우저의 휴대폰 크기 화면이었습니다. 모바일 환경 전체를 검증했다고 확대해서 말할 수는 없습니다.
AI가 구현을 마쳤다고 보고해도, 사용자가 누르는 위치에서 실제로 동작하는지는 따로 확인해야 합니다. 브라우저 검증은 그 차이를 찾는 과정이었습니다.
5. ELI5: 내부 동작보다 사용자가 해야 할 일을 설명합니다
파일럿을 앞두고 현업 사용자를 위한 정산서 작성 안내를 HTML로 만들었습니다. 모바일 홈에서 작성을 시작해 영수증을 촬영하고 카드 내역과 맞춰 본 뒤 상신하기까지, 여덟 단계를 한 장씩 설명했습니다.
설명에는 ELI5를 활용했습니다. 영수증에 적힌 카드 승인번호로 사용 내역을 찾아 연결하거나 금액을 참석자 수에 맞춰 나누는 내부 동작을 길게 설명하기보다, 무엇이 자동으로 입력되고 사용자가 무엇을 확인해야 하는지에 집중했습니다. 연결이 잘못됐거나 맞는 내역이 없을 때 선택할 버튼도 안내했습니다.
화면은 agent-browser로 실제 앱을 조작하며 촬영했습니다. 헤드리스 브라우저에서는 카메라를 사용할 수 없어 영수증 이미지를 카메라 영상 대신 넣어 촬영 화면을 재현했습니다. 개발 환경에 해당 영수증과 일치하는 카드 내역이 없어 자동 연결된 화면도 인식 결과를 바꿔 재현했습니다. 이 자료는 실제 사용 성공률을 보여주는 증거가 아니라 안내를 준비하기 위한 화면이었습니다.
저는 안내 자료를 HTML로 먼저 받고, 설명은 문어체로 통일하기로 했습니다. AI는 촬영과 번호 배치를 점검했습니다. ELI5 활용 과정은 당시의 기억을 바탕으로 정리했습니다. 이후 확인한 사용자 반응은 좋았습니다.

실제 작성 가이드의 화면·번호·설명 형식을 참고해, 승인 안내를 가상 데이터로 재구성한 예시입니다. 내부 제품 화면을 그대로 공개한 자료는 아닙니다.
이 다섯 스킬을 정해진 순서대로만 사용하는 것은 아닙니다. 큰 작업은 roadmap으로 나누고, 각 작업의 설계와 판단은 Superpowers로 남깁니다. Ponytail은 구현 전반에 적용하고, agent-browser는 화면 검증과 안내 자료 촬영에 함께 사용했습니다. ELI5는 그 결과를 사용자의 행동 순서로 풀어 쓰는 데 활용했습니다.
파일럿을 마친 뒤, 실제로 참여한 현업 사용자들의 만족도는 평균 5점 만점에 4.5점이었습니다. 응답자의 70%는 업무 처리 시간이 30% 이상 줄었다고 답했고, 20%는 20%, 10%는 10% 줄었다고 답했습니다. 저에게는 대성공이라고 말할 수 있는 결과였습니다.
이 과정을 통해 확인한 것은 AI에게 구현만 맡겨서는 끝나지 않는다는 점입니다. 어떤 순서로 만들지, 어떤 전제를 다시 확인할지, 어디까지 검증했는지, 사용자는 무엇을 알아야 하는지를 제가 판단해야 했습니다.
지금 진행 중인 프로젝트에서도 자주 빠뜨리는 점검 항목 하나를 찾아보세요. 스킬을 더하기 전에, 어떤 실패를 막고 어떤 결과를 확인하려는지 먼저 적어 보시면 좋겠습니다.
