AI 데이터 준비, 이번 과제에 필요한 만큼만 정리하기

AI 데이터 준비는 회사의 모든 데이터를 완벽하게 정리한 뒤 시작하는 일이 아니라, 이번 과제에 필요한 자료를 사용할 수 있는 상태로 만드는 일입니다. 먼저 업무와 질문을 좁히고, 사용 권한과 정답 근거를 확인한 다음, 실제 오류를 일으키는 부분부터 정리해야 합니다. 이 글에서는 학습과 검색의 준비 차이, 문서 전처리 순서, 정리를 멈추고 시험할 기준을 제시합니다.

무엇부터 정해야 데이터 정리가 끝없이 커지지 않나요?

파일 목록보다 먼저 AI가 처리할 질문과 처리하지 않을 질문을 정해야 합니다.

“공유 폴더가 엉망이니 일단 정리부터 합시다”로 시작하면 오래된 보고서, 이메일 첨부파일, 부서별 양식까지 모두 사업 범위에 들어옵니다. 무엇을 버려도 되는지 판단할 기준이 없어 담당자는 파일을 열어 보는 일부터 반복합니다. 첫 과제를 시작하기 전에 전사 문서관리 사업이 되는 셈입니다.

가령 직원의 출장비 규정 문의를 줄이는 과제라고 가정합니다. 필요한 것은 회사의 모든 문서가 아니라 출장비 규정, 지급 기준표, 승인된 예외 안내입니다. 직원별 실제 지급 내역이나 과거 출장 보고서는 첫 시험에서 제외할 수 있습니다. 다만 예외 적용을 답해야 한다면 그 근거 문서는 빠뜨리면 안 됩니다.

착수 문서에는 다음 내용을 한 문단으로 적습니다. “전 직원이 현재 적용되는 국내 출장비 기준을 질문하고, AI는 금액과 적용 조건을 원문 근거와 함께 답합니다. 해외 출장, 개인별 정산 판단, 근거 없는 예외 승인은 답하지 않습니다.” 이 문장이 파일을 넣고 빼는 기준입니다.

Gartner의 AI 준비 데이터 설명도 준비도를 특정 활용 사례에 맞춰 판단하고, 필요한 오류와 예상 밖 상황까지 대표해야 한다고 봅니다. 자료가 적어도 업무를 대표해야 하며, 정상적인 질문만 모아서는 부족합니다.

범위를 줄인다는 것은 어려운 질문을 숨긴다는 뜻이 아닙니다. “영수증이 없으면 지급되나요?”, “다음 달 출장에도 지금 기준인가요?”처럼 예외와 시행일을 묻는 질문을 포함해야 합니다. 이런 질문에서 필요한 문서가 드러납니다.

AI 학습 데이터 정리와 검색용 문서 준비는 무엇이 다른가요?

모델의 행동을 학습시키려면 승인된 입력과 정답이 필요하고, 문서에 근거해 답하게 하려면 검색 가능한 원문과 관리 정보가 필요합니다.

“우리 자료로 학습시켜 주세요”라는 요청을 그대로 발주 항목으로 쓰면 두 작업이 섞입니다. 규정을 찾아 답하는 업무인지, 문의를 회사 기준에 맞춰 분류하는 업무인지부터 구분합니다. 전자는 보통 검색 증강 생성인 RAG부터 검토하고, 후자는 지시문과 예시로 시험한 뒤 학습 필요성을 판단합니다.

AWS의 기업용 RAG 설명은 모델 재학습 없이 기업 지식을 검색해 답변에 활용하는 방식을 소개합니다. 검색용 문서를 임베딩한다고 해서 답변 모델을 추가 학습시키는 것은 아닙니다.

학습 과제라면 정답 기준부터 맞춥니다. 같은 문의를 어떤 담당자는 ‘계정’, 다른 담당자는 ‘인증’으로 분류한다면 문장 정제보다 범주 합의가 먼저입니다. 같은 사건에서 나온 유사 문장이 학습용과 평가용에 나뉘어 들어가면 성능을 과대평가할 수 있으므로, 사건이나 문서 단위의 분리도 검토합니다.

검색 과제라면 원문을 질문과 답변으로 전부 바꾸는 작업부터 하지 않습니다. 개정 때마다 원문과 가공한 답변을 함께 고쳐야 하기 때문입니다. 원문 구조와 변경 이력을 먼저 확보하고, 답변 예시는 시험과 평가에 필요한 범위로 만듭니다.

개인정보가 섞인 자료는 정제부터 해도 되나요?

개인정보와 기밀이 섞인 자료는 사용 목적과 처리 조건을 확인하기 전까지 외부 도구에 올리지 않아야 합니다.

담당자가 “이름만 지우면 되겠죠?”라고 물을 수 있습니다. 하지만 이름을 지운 정산표에도 사번, 계좌번호, 이동 경로, 특정인을 알아볼 수 있는 설명이 남을 수 있습니다. 직접 식별자 몇 개를 삭제했다는 이유만으로 익명정보가 되거나 적법한 사용이 보장되지는 않습니다.

개인정보보호위원회의 생성형 AI 개인정보 처리 안내서는 목적 설정 단계에서 개인정보 종류와 출처, 처리에 필요한 적법 근거를 검토하도록 안내합니다. 검색 활용과 모델 학습의 처리 방식이 다르므로 실제 구성에 맞춰 개인정보 담당자와 확인해야 합니다.

실무에서는 자료를 세 묶음으로 나누면 논의가 빨라집니다. 사용 조건이 확인된 자료, 추가 검토가 필요한 자료, 이번 과제에서 제외할 자료입니다. 파일마다 출처, 관리 부서, 개인정보 포함 여부, 허용 사용자, 외부 전송 가능 여부를 기록합니다. 판단되지 않은 칸은 허용으로 간주하지 않습니다.

이번 과제에 직원별 정산 내역이 필요 없다면 가명처리부터 고민할 이유가 없습니다. 아예 수집하지 않는 편이 낫습니다. 필요한 자료에 개인정보가 있다면 최소 항목만 남기고, 처리 근거와 보관 기간, 위탁과 국외 이전 해당 여부 등 실제 서비스 조건을 검토합니다.

권한도 문서 전처리 전에 설계합니다. 인사팀만 볼 수 있는 자료는 전 직원용 검색 후보에서 제외해야 합니다. 화면에서 출처 링크만 감추는 방식은 답변으로 내용이 노출되는 것을 막지 못합니다. 사용자 권한은 검색 후보를 고를 때 적용하고, 모델에 전달하기 전에도 확인합니다.

문서 데이터 전처리는 어떤 순서로 해야 하나요?

문서는 원문과 버전을 확정한 뒤 글자를 추출하고, 구조와 조건을 보존한 상태로 검색 단위를 나눠야 합니다.

첫째, 정답으로 사용할 원본을 고릅니다. 파일명이 ‘최종’이라고 최신 규정은 아닙니다. 관리 부서가 승인한 문서인지, 언제부터 적용되는지, 무엇을 대체하는지 확인합니다. 과거 기준에 답해야 한다면 구버전을 삭제하지 말고 적용 기간을 구분합니다. 내용이 같아도 권한이나 적용 대상이 다르면 단순 중복으로 합치지 않습니다.

둘째, 추출한 글자를 원문과 대조합니다. 텍스트를 직접 추출할 수 있는 PDF와 스캔 이미지를 구분하고, 스캔 문서에는 OCR을 적용합니다. 출장비 표에서 ‘80,000원’이 ‘8,000원’으로 바뀌면 한 글자 오류가 업무 판단을 바꿉니다. 금액, 날짜, 부정 표현, 예외 조건은 우선 검수 대상입니다.

셋째, 제목과 본문, 표와 주석의 관계를 보존합니다. ‘서울 80,000, 기타 60,000’만 추출하면 숙박비인지 식비인지 알 수 없습니다. 항목명, 지역, 단위, 적용 조건을 함께 남겨야 합니다. 반복되는 머리말과 페이지 번호는 제거 후보지만, 단위와 예외 문구는 잡음으로 취급하면 안 됩니다.

넷째, 의미가 유지되는 단위로 나눕니다. 한컴의 문서 전처리 설명은 고정 길이로 자를 때 제목과 본문, 표의 헤더와 값이 분리될 수 있음을 지적합니다. 처음부터 모든 문서를 같은 글자 수로 자르기보다 조항과 표 단위로 시작하고, 검색 결과를 보며 길이를 조정합니다.

마지막으로 각 조각에 문서 식별자, 제목, 원문 위치, 시행일, 권한을 연결합니다. PDF라면 페이지, 다른 형식이라면 조항이나 구역으로 돌아갈 수 있어야 합니다. 검색된 문장을 보고도 원문을 찾을 수 없다면 오류 검수와 개정 반영이 막힙니다.

NIA의 AI 데이터 품질관리 가이드는 데이터 유형과 생성형 AI의 특성에 따른 품질관리를 구분해 제공합니다. 모든 정제 기법을 적용하는 대신, 이번 문서에서 실제로 발생하는 오류 항목을 골라 검수 기준으로 사용합니다.

어디까지 정리하면 AI를 시험해도 되나요?

범위 안의 질문에 근거를 찾을 수 있고, 금지된 자료를 노출하지 않으며, 실패 원인을 추적할 수 있으면 제한된 시험을 시작할 수 있습니다.

정제 완료율만으로 판단하지 않습니다. 파일을 모두 변환했어도 중요한 표를 읽지 못하면 준비가 부족합니다. 반대로 과제와 무관한 문서가 남아 있다는 이유로 시험을 미룰 필요도 없습니다.

다음은 시험용 기준을 만드는 예시입니다. 실제 질문 40개를 일반 질문 24개, 예외와 시행일 질문 10개, 답변 거절이 필요한 질문 6개로 구성한다고 가정합니다. 질문마다 기대 답변, 근거 문서와 위치, 허용 사용자를 적습니다. 평가 질문은 검색 색인에 넣지 않고, 학습 과제라면 학습 데이터에서도 분리합니다.

평가는 두 번 나눠 합니다. 먼저 검색 결과에 정답 근거가 포함됐는지 확인합니다. 다음으로 그 근거를 받은 모델이 조건과 금액을 맞게 답했는지 확인합니다. AWS의 RAG 평가 발표도 검색 평가와 종단 간 생성 평가를 구분합니다.

예를 들어 답변 가능한 34개 중 28개에서 근거를 찾았는데 최종 정답은 23개라면, 검색 실패 6개와 근거를 받고도 틀린 5개를 따로 고칩니다. 검색 실패는 누락 문서, 구조 손실, 검색 조건을 먼저 봅니다. 답변 실패는 조건 해석, 지시문, 출력 검증을 확인합니다. 모두 모델 문제로 묶으면 불필요한 학습 비용이 생깁니다.

정답률 목표는 업무 위험에 맞춰 정합니다. 안내 초안과 지급 승인에 같은 기준을 쓰면 안 됩니다. 권한 위반이나 개인정보 노출이 시험에서 발견되면 배포를 중단하고 원인을 고칩니다. 시험에서 위반이 없었다는 사실도 실제 운영의 무위반을 보장하지 않으므로 권한별 시험과 운영 감시가 필요합니다.

정리 비용은 어떻게 제한하고 다음 범위를 정하나요?

첫 정리 예산은 전체 파일 수가 아니라 첫 과제의 대상 문서와 검수 시간으로 계산하고, 이후 확장은 평가에서 드러난 부족분으로 결정합니다.

가령 보유 문서 600개 중 첫 과제에 필요한 문서가 60개이고, 문서당 원본 확인과 추출 결과 검수에 평균 8분이 걸린다고 가정합니다. 전부 검수하면 4,800분, 즉 80시간이고, 60개만 검수하면 480분, 즉 8시간입니다. 검수 범위를 줄여 72시간을 다른 작업에 배정할 수 있다는 계산이지, 프로젝트 전체 비용이 그만큼 줄어든다는 뜻은 아닙니다.

이 계산에는 도구 설정, 긴 표와 스캔 문서의 재작업, 개인정보 검토, 평가 질문 작성, 변경 반영 작업이 빠져 있습니다. 대표 문서 몇 개를 먼저 처리해 유형별 시간을 측정하고 예산을 고쳐야 합니다. 파일 수만 같다고 작업량도 같지는 않습니다.

확장 여부는 세 질문으로 판단합니다. 현재 실패가 문서 부족 때문인지, 그 문서가 이번 업무 범위에 속하는지, 추가 후 같은 평가에서 개선되는지입니다. 세 답이 확인되지 않으면 공유 폴더 전체를 더 넣지 않습니다. 근거가 있는데도 잘못 답한다면 문서 추가보다 해석과 검증을 고칩니다.

마지막 항목까지 정해야 준비가 운영으로 이어집니다. 개정 문서가 올라오면 누가 승인하고 언제 색인을 갱신하는지, 삭제한 자료의 검색 조각도 제거되는지 확인합니다. AI 데이터 준비의 완료 기준은 ‘모든 파일이 깨끗함’이 아니라 ‘이번 업무를 시험하고 수정할 수 있음’입니다.

AI 데이터 준비에서 자주 묻는 질문

아래 답변은 첫 과제의 범위를 정할 때 자주 부딪히는 판단을 정리한 것입니다.

자주 묻는 질문

AI 데이터 준비에 필요한 문서는 최소 몇 개입니까?

모든 과제에 적용되는 최소 문서 수는 없습니다. 질문의 범위와 예외 상황을 설명할 근거가 있는지가 먼저입니다. 소수 문서로 기준을 시험한 뒤, 답하지 못한 질문에 필요한 자료를 추가합니다.

데이터 정제에서 이상치와 중복은 모두 삭제해야 합니까?

아닙니다. 이상치는 실제 예외나 장애를 대표할 수 있고, 같은 내용의 문서도 적용 기간이나 권한이 다를 수 있습니다. 입력 오류인지 업무상 의미가 있는 차이인지 확인하고 처리합니다.

AI 학습 데이터 정리 전에 평가 데이터를 만들어야 합니까?

업무의 정답 기준을 확인할 평가 데이터를 먼저 확보하는 편이 좋습니다. 학습용과 평가용에 같은 사건이나 유사 문서가 섞이지 않도록 분리하고, 평가 결과를 본 뒤 학습 데이터의 부족분을 정합니다.

문서 데이터 전처리를 자동화하면 사람 검수는 필요 없습니까?

추출과 중복 탐지 등은 자동화할 수 있지만, 정답 원본 선정과 권한 판단, 금액과 예외 조건의 검수는 별도 확인이 필요합니다. 업무 영향을 기준으로 검수 대상을 정하고, 오류가 잦은 문서 유형은 검수 범위를 넓힙니다.

검색 방식을 더 구체화하려면 RAG 구축에서 사내 문서 검색이 틀리는 이유를, 시험 기준을 정하려면 생성형 AI 답변 품질 평가 방법을 이어서 참고할 수 있습니다.

KITDI는 AI 연구를 자체 서비스와 기업 솔루션, AX 컨설팅으로 연결합니다. 업무 범위와 데이터 준비를 함께 설계하는 접근은 AX 컨설팅에서 확인할 수 있습니다.