AI 회의록 정확도가 낮을 때 먼저 볼 다섯 가지
AI 회의록 정확도가 기대에 못 미친다면 모델을 바꾸기 전에 녹음 환경, 용어, 화자 구분, 요약 양식을 먼저 점검해 보세요. 어디서 틀리는지 나눠 보는 법과 재는 법을 정리했습니다.
이 글의 목차
회의록 도구를 켜 두고 한 시간 회의를 마쳤습니다. 결과를 열어 보니 거래처 이름은 엉뚱한 단어로 적혀 있고, 누가 한 말인지 뒤섞여 있고, 요약에는 회의에서 결정하지 않은 내용이 들어가 있습니다. 결국 녹음을 다시 듣고 처음부터 정리하게 됩니다.
이런 경험을 한 팀이 많습니다. 그런데 원인을 따라가 보면 모델보다 다른 곳에서 틀리는 경우가 더 많습니다. 이 글에서는 AI 회의록이 틀리는 지점을 다섯 갈래로 나누고, 갈래마다 무엇을 바꾸면 되는지, 그리고 정확도를 숫자로 재는 법까지 정리합니다.
받아쓰기와 회의록은 다른 문제입니다
AI 회의록은 두 단계로 만들어집니다.
- 받아쓰기. 음성 인식 모델이 말을 글자로 옮깁니다. 누가 말했는지 나누는 화자 분리도 이 단계에 들어갑니다.
- 정리. 언어 모델이 받아쓴 글에서 결정 사항, 할 일, 담당자, 기한을 골라 회의록 양식으로 씁니다.
결과가 이상할 때 가장 먼저 할 일은 '받아쓴 원문'을 열어 보는 것입니다. 원문 자체가 틀렸다면 받아쓰기 문제이고, 원문은 맞는데 요약이 엉뚱하다면 정리 단계의 문제입니다. 이 구분 없이 도구를 바꾸면 같은 문제를 다시 만납니다.
1. 녹음 환경이 정확도의 절반을 정합니다
받아쓰기 정확도에 가장 큰 영향을 주는 것은 마이크로 들어오는 소리 자체입니다. 사람이 듣기에도 흐릿한 녹음은 모델에게도 흐릿합니다.
| 환경 | 생기는 문제 | 바꿀 것 |
|---|---|---|
| 노트북 내장 마이크 하나로 큰 회의실 녹음 | 먼 자리의 목소리가 작게 잡혀 통째로 빠짐 | 탁자 가운데 회의용 마이크, 큰 방은 두 개 |
| 여러 사람이 동시에 말함 | 겹친 구간이 뒤섞이거나 사라짐 | 진행자가 발언 순서를 정리, 화상 회의는 각자 마이크 |
| 유리벽, 빈 벽이 많은 방 | 소리가 울려 글자가 뭉개짐 | 작은 방, 커튼이나 흡음재 |
| 공조기, 프로젝터, 키보드 소음 | 조용한 목소리가 묻힘 | 마이크를 소음원에서 떨어뜨림 |
| 대면과 화상이 섞인 회의 | 원격 참석자 목소리가 스피커를 거쳐 두 번 녹음됨 | 회의실 장비와 화상 회의 녹음을 한쪽으로 통일 |
화상 회의라면 회의 플랫폼이 참석자별 음성을 따로 받는 경우가 많아 대면 회의보다 결과가 좋은 편입니다. 대면 회의에서 결과가 유독 나쁘다면 장비부터 의심해 보는 것이 순서입니다.
2. 고유명사와 전문 용어를 미리 알려 줍니다
음성 인식 모델은 처음 듣는 단어를 비슷하게 들리는 흔한 단어로 바꿔 적습니다. 회사 제품명, 거래처 이름, 내부 약어, 사람 이름이 대표적입니다. 회의록에서 가장 중요한 정보가 바로 이런 단어라서 체감 정확도가 크게 떨어집니다.
많은 음성 인식 서비스가 자주 쓰는 단어 목록을 미리 넣는 기능을 제공합니다. 팀에서 자주 나오는 단어 수십 개만 정리해 넣어도 차이가 납니다. 목록은 한 번 만들고 끝내지 말고, 회의록을 고칠 때마다 틀린 단어를 추가하는 식으로 키워 가는 편이 좋습니다.
3. 누가 말했는지 구분해야 할 일이 남습니다
회의록의 핵심은 할 일과 담당자입니다. "그건 제가 다음 주까지 정리하겠습니다"라는 말이 누구의 발언인지 틀리면 할 일 목록 전체가 틀립니다.
화자 분리는 목소리의 특징으로 사람을 나눕니다. 비슷한 목소리가 많거나, 짧게 끼어드는 말이 많거나, 한 마이크에 여러 명이 몰려 있으면 정확도가 떨어집니다. 바꿀 수 있는 것은 이렇습니다.
- 화상 회의에서는 참석자별로 따로 들어오는 음성을 쓰면 화자 구분이 훨씬 정확합니다.
- 회의 시작 때 참석자가 한 번씩 자기 이름을 말하면, 이후 정리 단계에서 이름을 붙이기 쉬워집니다.
- 정리 결과에서 담당자가 비어 있거나 애매한 할 일은 '확인 필요'로 표시하게 지시합니다. 틀린 이름을 적는 것보다 낫습니다.
4. 요약은 양식을 정하면 좋아집니다
"회의 내용을 요약해 줘"라고만 하면 매번 다른 길이와 모양의 요약이 나옵니다. 언어 모델은 무엇이 중요한지 회사의 기준을 모르기 때문입니다. 회사에서 쓰는 회의록 양식을 정해 두고 그 칸을 채우게 하면 결과가 안정됩니다.
| 칸 | 담을 내용 | 쓰는 요령 |
|---|---|---|
| 결정 사항 | 회의에서 합의한 것 | 결론이 안 났으면 쓰지 않음 |
| 할 일 | 무엇을, 누가, 언제까지 | 담당자나 기한이 없으면 '확인 필요' |
| 남은 쟁점 | 결론 없이 다음으로 넘긴 것 | 왜 못 정했는지 한 줄 |
| 참고 | 언급된 문서, 숫자, 일정 | 원문 위치를 함께 |
특히 중요한 지시는 원문에 없는 내용은 쓰지 말 것입니다. 요약에 회의에서 정하지 않은 결정이 들어가는 문제는 대개 이 지시가 없거나 약할 때 생깁니다. 정리된 항목마다 원문 발언으로 바로 갈 수 있는 연결을 붙여 두면, 확인하는 사람이 앞뒤 맥락을 바로 들을 수 있습니다.
5. 정확도를 숫자로 재 봅니다
"쓸 만하다", "별로다" 같은 느낌으로는 도구를 바꿔도 나아졌는지 알 수 없습니다. 받아쓰기는 **글자 오류율(CER)**로 재는 것이 일반적입니다. 사람이 정확히 받아쓴 원문과 비교해, 바뀐 글자와 빠진 글자와 더해진 글자 수를 원문 글자 수로 나눕니다.
예를 들어 사람이 정리한 원문이 1,000자이고 AI 결과에서 바뀐 글자 25자, 빠진 글자 10자, 더해진 글자 5자가 나왔다면 글자 오류율은 (25 + 10 + 5) ÷ 1,000 = 4%입니다(예시 계산). 한국어는 띄어쓰기 기준이 흔들려서 단어 단위보다 글자 단위가 더 공정한 편입니다.
정리 단계는 숫자 하나로 재기 어렵습니다. 회의 몇 건을 골라 결정 사항과 할 일을 사람이 먼저 적어 두고, AI가 그중 몇 개를 맞게 뽑았는지, 없는 내용을 몇 개 지어냈는지 세는 방식이 현실적입니다.
회의 전 5분 점검표
- 회의용 마이크가 탁자 가운데 있고, 노트북 마이크는 꺼져 있다
- 이번 회의에 나올 고유명사가 단어 목록에 들어 있다
- 참석자가 처음에 이름을 한 번씩 말했다
- 회의록 양식(결정, 할 일, 남은 쟁점)이 정해져 있다
- 민감한 회의라면 녹음과 처리 위치를 미리 확인했다
회의록 도구를 고를 때 물어볼 것
새 도구를 검토하거나 지금 도구를 계속 쓸지 판단할 때는 기능 목록보다 아래 질문에 대한 답을 받아 보는 편이 실질적입니다.
| 질문 | 왜 중요한가 |
|---|---|
| 자주 쓰는 단어 목록을 넣을 수 있나요? | 고유명사 오류가 체감 정확도를 가장 크게 좌우합니다 |
| 화상 회의에서 참석자별 음성을 따로 받나요? | 화자 구분 정확도가 크게 달라집니다 |
| 요약 양식을 회사 기준으로 바꿀 수 있나요? | 매번 다른 모양의 요약을 막습니다 |
| 요약 항목에서 원문 발언으로 바로 갈 수 있나요? | 확인하는 시간이 줄고, 틀린 요약을 바로 잡아낼 수 있습니다 |
| 음성과 회의록은 어디서 처리되고 언제 지워지나요? | 보안 검토의 첫 질문입니다 |
| 결과를 우리 문서 시스템으로 내보낼 수 있나요? | 회의록이 도구 안에만 쌓이면 찾기 어렵습니다 |
민감한 회의는 처리할 곳부터 정합니다
인사, 계약, 신제품, 투자처럼 민감한 회의라면 정확도보다 먼저 정할 것이 있습니다. 음성 파일과 회의록이 어느 서버에서 처리되고, 얼마나 보관되고, 누가 볼 수 있는지입니다. 외부 서비스로 음성을 보낼 수 없는 조직이라면 폐쇄망에서 생성형 AI를 쓰는 방법을 함께 검토해야 합니다.
자주 묻는 질문
AI 회의록 정확도는 보통 어느 정도인가요?
녹음 환경, 말하는 속도, 전문 용어 비율에 따라 크게 달라서 한 숫자로 말하기 어렵습니다. 우리 회의 몇 건을 사람이 받아쓴 원문과 비교해 글자 오류율을 재 보는 것이 가장 정확합니다.
회의록 요약에 회의에서 안 한 말이 들어가요. 왜 그런가요?
정리 단계의 언어 모델이 빈 곳을 그럴듯하게 채우는 경우입니다. 원문에 없는 내용은 쓰지 말라는 지시, 정해진 양식, 항목마다 원문 위치를 붙이는 방식으로 크게 줄일 수 있습니다.
사투리나 빠른 말투도 잘 받아쓰나요?
표준어보다 정확도가 떨어지는 경우가 많습니다. 말투보다 마이크와의 거리, 겹치는 말이 더 큰 영향을 주는 경우도 많으니 녹음 환경을 먼저 개선해 보세요.
회의록 도구를 바꾸면 해결될까요?
받아쓴 원문부터 확인해 보세요. 원문은 정확한데 요약이 이상하다면 도구보다 요약 양식과 지시의 문제일 가능성이 큽니다.
다음 단계
회의록 자동화의 목표는 한 글자도 틀리지 않는 받아쓰기가 아니라, 회의가 끝난 날 바로 할 일이 공유되는 것입니다. 녹음 환경, 단어 목록, 회의록 양식 세 가지만 정리해도 같은 도구로 훨씬 쓸 만한 결과를 얻을 수 있습니다. 사내 회의록을 회사 기준에 맞게 정리하는 시스템이 필요하다면 AI 솔루션 소개를 참고해 주세요. 회의록 같은 생성 결과의 품질을 꾸준히 재는 방법은 생성형 AI 답변 품질 평가에서 더 자세히 다룹니다.
