기업 AI 도입 방법, 첫 과제를 고르는 순서부터
기업 AI 도입 방법을 기술이 아니라 업무에서 시작하는 순서로 정리했습니다. 첫 과제 고르는 기준, 데이터 점검, 성공 기준을 숫자로 정하는 법까지 담았습니다.
이 글의 목차
월요일 아침 회의에서 대표가 말합니다. "다른 회사들은 다 AI 쓴다는데, 우리도 뭐라도 해 봐." 예산은 정해지지 않았고, 무엇을 해야 성공인지도 아무도 말해 주지 않습니다. 이 글은 그 숙제를 받은 사람을 위해 썼습니다. 다 읽고 나면 첫 과제를 고르는 기준, 회의에 들고 갈 점검표, 그리고 성과를 어떻게 숫자로 보고할지가 손에 남을 것입니다.
왜 "어떤 AI를 살까"부터 시작하면 막히나
AI 도입 이야기가 나오면 대개 도구 이름부터 오갑니다. 어떤 챗봇이 좋다더라, 어느 회사가 무엇을 샀다더라. 그런데 도구부터 정하면 곧 이런 질문에 막힙니다. 그래서 그걸로 누가, 어떤 일을, 얼마나 덜 하게 되느냐는 질문입니다.
순서를 거꾸로 하면 훨씬 수월합니다. 도구가 아니라 업무에서 시작하는 것입니다. AI가 효과를 내는 자리는 생각보다 구체적이고 작습니다. "고객 응대를 개선한다"는 목표로는 무엇을 만들지 정할 수 없지만, "상담원이 하루에 수십 번 규정집을 뒤지는 시간을 줄인다"는 목표라면 내일 바로 설계를 시작할 수 있습니다.
1단계: 업무를 따라가며 시간이 새는 곳을 찾습니다
첫 주에 할 일은 보고서 작성이 아니라 관찰입니다. 두세 개 부서의 실무자 옆에 앉아 하루를 따라가 봅니다. 무엇을 찾고, 무엇을 옮겨 적고, 무엇을 다시 확인하는지 적습니다. 실무자에게 "AI로 뭘 하고 싶으세요?"라고 물으면 대답이 막연하지만, "어제 제일 귀찮았던 일이 뭐였어요?"라고 물으면 구체적인 답이 나옵니다.
직원 150명 규모 제조사를 예로 들면 이런 목록이 나옵니다.
- 영업팀: 견적 요청 메일을 읽고 품목과 수량을 엑셀로 옮긴다
- 품질팀: 고객 불만 접수 내용을 분류해 주간 보고서를 만든다
- 경영지원팀: 직원 문의(연차, 출장비, 복리후생)에 같은 답을 반복한다
- 생산관리팀: 설비 점검표를 종이에 쓰고 다시 전산에 입력한다
2단계: 첫 과제는 세 가지 기준으로 고릅니다
목록이 생기면 점수를 매깁니다. 기준은 세 가지면 충분합니다.
| 기준 | 질문 | 왜 중요한가 |
|---|---|---|
| 반복 | 하루에 몇 번, 몇 명이 하는 일인가 | 자주 할수록 줄어드는 시간이 쌓입니다 |
| 기준 | 누가 해도 결과가 비슷한가 | 사람마다 판단이 다르면 AI에게 가르칠 정답이 없습니다 |
| 확인 | 결과가 맞았는지 바로 알 수 있는가 | 확인할 수 없으면 AI가 잘하는지도 알 수 없습니다 |
앞의 예시에 점수를 매기면 경영지원팀의 반복 문의 응대가 첫 과제로 가장 좋습니다. 하루에도 여러 번 생기고, 답은 규정에 정해져 있고, 틀렸는지 담당자가 바로 압니다. 반대로 "신제품 기획을 AI로"처럼 기준과 확인이 모두 모호한 일은 두 번째, 세 번째 과제로 미룹니다.
첫 과제는 화려하지 않아도 괜찮습니다. 첫 과제의 진짜 목적은 조직이 AI와 함께 일하는 방식을 한 번 겪어 보는 것이기 때문입니다.
3단계: 그 일에 필요한 자료가 어디에 있는지 봅니다
과제를 고르면 필요한 자료를 확인합니다. 같은 "규정 문의 응대"라도 준비 기간이 크게 다릅니다.
- 규정이 문서 관리 시스템에 최신본으로 정리되어 있다: 바로 시작할 수 있습니다
- 각자의 메일함과 개인 폴더에 흩어져 있다: 모으고 정리하는 데 몇 주가 듭니다
- 담당자 머릿속에만 있다: 먼저 문서로 만드는 일이 과제가 됩니다
이 단계에서 꼭 함께 확인할 것이 권한입니다. 인사 규정 중 일부는 관리자만 봐야 하고, 급여 기준은 일부 부서만 봐야 합니다. 사내 문서를 읽는 AI라면 "누가 무엇을 볼 수 있는가"를 처음부터 설계에 넣어야 합니다. 나중에 덧붙이기 가장 어려운 부분입니다. 자세한 내용은 RAG 구축 글에 정리했습니다.
4단계: 성공 기준을 숫자로 먼저 정합니다
시범 사업이 끝난 뒤 "괜찮긴 한데 잘 모르겠다"는 평가가 나오는 경우가 많습니다. 시작하기 전에 무엇이 나아지면 성공인지 정해 두지 않았기 때문입니다. 숫자는 거창할 필요가 없습니다. 지금 얼마나 걸리는지 일주일만 재어 두면 됩니다.
| 과제(예시) | 지금 재 둘 값 | 성공으로 볼 값(예시) |
|---|---|---|
| 직원 규정 문의 응대 | 문의 한 건 처리 시간, 하루 문의 수 | 처리 시간 절반, 담당자 재확인 비율 20% 이하 |
| 견적 요청 메일 정리 | 메일 한 건 입력 시간, 입력 오류 건수 | 입력 시간 절반, 오류는 지금보다 늘지 않게 |
| 불만 접수 분류 | 주간 보고서 작성 시간, 분류 기준 불일치 | 보고서 당일 작성, 분류 일치율 90% 이상 |
여기에 "써 본 직원이 다음 주에도 쓰는가"를 하나 더 넣어 두기를 권합니다. 기능이 좋아도 현업이 다시 찾지 않으면 확산되지 않습니다.
5단계: 작게 만들어 4주 동안 직접 써 보게 합니다
처음부터 모든 기능을 갖춘 시스템을 만들 필요는 없습니다. 실제 자료로 작게 만들어 그 부서 사람 몇 명이 4주 정도 직접 써 보게 합니다. 이 기간에 나오는 "이 질문엔 엉뚱하게 답하더라", "이 양식은 이렇게 바꿔 달라" 같은 말이 기획 문서보다 정확합니다.
- 01업무 관찰
두세 부서의 하루를 따라가며 시간이 새는 일을 적습니다.
- 02과제 고르기
반복되고, 기준이 있고, 결과를 확인할 수 있는 일 하나를 고릅니다.
- 03자료와 권한 점검
필요한 자료가 어디에 있는지, 누가 볼 수 있는지 확인합니다.
- 044주 시범 사용
실제 자료로 작게 만들어 현업이 직접 쓰고, 정해 둔 숫자로 잽니다.
- 05확대 또는 교체
기준을 넘으면 다음 부서로 넓히고, 아니면 과제를 바꿉니다.
시범 기간이 끝나면 정해 둔 숫자로 판단합니다. 기준을 넘었다면 보안 점검, 기존 시스템 연결, 사용자 교육을 준비해 다른 부서로 넓힙니다. 넘지 못했다면 과제를 바꾸는 것도 좋은 결정입니다. 작게 시작했기 때문에 바꾸는 비용도 작습니다. 시범 사업이 흐지부지되는 흔한 이유는 AI PoC 실패 이유에서 따로 다룹니다.
대표에게 들고 갈 한 장
첫 보고에서 거창한 계획서는 필요 없습니다. 아래 다섯 줄에 답할 수 있으면 충분합니다.
첫 보고 전에 채울 다섯 줄
- 어느 부서의 어떤 반복 업무를 첫 과제로 골랐고, 왜 그 일인가
- 그 일에 지금 한 달에 몇 시간이 드는가(일주일 잰 값)
- 필요한 자료는 어디에 있고, 누가 볼 수 있어야 하는가
- 4주 뒤 무엇이 얼마나 나아지면 성공으로 볼 것인가
- 외부 서비스를 써도 되는 자료인가, 사내에서만 다뤄야 하는가
비용을 묻는다면 정부 지원도 함께 알아 두면 좋습니다. 중소기업이 AI 솔루션을 도입할 때 쓸 수 있는 바우처 사업이 해마다 공고되고, 2026년 AI 바우처는 과제당 최대 2억 원 규모로 안내되었습니다(디지털데일리, 2026년 3월). 조건과 일정은 해마다 바뀌므로 정보통신산업진흥원 공고문을 직접 확인해야 합니다.
마지막 줄의 답에 따라 구성과 비용이 크게 달라집니다. 외부로 보낼 수 없는 자료라면 온프레미스 LLM 구축 글을, 예산을 잡아야 한다면 AI 도입 비용 글을 함께 보시면 좋습니다.
자주 묻는 질문
AI 도입을 전담할 사람이 없어도 시작할 수 있나요?
시작할 수 있습니다. 다만 첫 과제를 맡은 부서에서 한 사람은 매주 결과를 보고 의견을 낼 수 있어야 합니다. 개발은 외부와 함께해도, 무엇이 맞는 답인지 판단하는 사람은 회사 안에 있어야 합니다.
데이터가 정리되어 있지 않은데 AI 도입은 무리인가요?
정리가 안 된 곳은 많습니다. 첫 과제를 고를 때 자료가 비교적 잘 모여 있는 업무를 고르면 됩니다. 자료 정리 자체를 첫 과제로 삼는 회사도 있습니다.
정부 지원 사업을 활용할 수 있나요?
중소기업이라면 해마다 공고되는 AI 바우처 사업을 검토할 만합니다. 다만 공급 기업과 함께 신청해야 하고 조건이 해마다 바뀌므로, 과제를 먼저 정한 뒤 공고문에 맞는지 확인하는 순서가 좋습니다.
첫 과제는 보통 얼마나 걸리나요?
업무 관찰과 과제 선정에 2~3주, 시범 사용에 4주 정도를 잡는 경우가 많습니다. 자료 정리가 필요하면 그만큼 늘어납니다.
AI 도입은 한 번 사서 끝나는 일이 아니라, 일하는 방식을 하나씩 바꾸는 과정입니다. 어디서부터 볼지 막막하다면 AX 컨설팅에서 업무 진단부터 함께 시작할 수 있습니다.
