AI 번역이 빠르게 확산될수록 문제는 속도보다 결과를 얼마나 신뢰할 수 있느냐로 이동합니다. 측정하지 못하는 품질은 관리할 수 없습니다. 이 글에서는 AI 시대에 번역 품질 평가 방식이 어떻게 달라지고 있는지, QE와 QA의 역할은 무엇이 다른지, 그리고 한샘글로벌이 현장에서 축적한 품질 기준을 Hansem QA에 어떻게 반영해 대량 번역물을 평가하고 검증하는지 살펴봅니다.
AI 번역이 좋아질수록 검증은 더 중요해집니다
생성형 AI와 LLM의 발전으로 번역 품질은 빠르게 높아지고 있습니다. 그러나 실제 고객 프로젝트에서는 “대체로 잘 번역된다”는 것만으로는 충분하지 않습니다. 외부에 공개되거나 고객에게 제공되는 문서, 웹사이트, 교육 자료에서는 오역이나 누락, 숫자와 단위 오류, 브랜드 기준과 맞지 않는 표현 하나도 심각한 품질 문제가 될 수 있습니다.
그렇다고 모든 AI 번역을 사람이 처음부터 끝까지 다시 검토한다면 AI를 적용해 얻는 생산성 효과는 제한적입니다. 반대로 사람 검수를 지나치게 줄이면 중요한 오류가 그대로 납품될 수 있습니다. 따라서 핵심은 모든 번역을 같은 수준으로 검토하는 것이 아니라, 먼저 품질 위험을 측정하고 그 결과에 따라 검수 수준을 달리하는 것입니다.
AI 시대에는 품질 평가 방식도 달라집니다
전통적인 번역 품질 평가는 사람이 번역문을 직접 읽고 오류를 판정하는 방식이 중심이었습니다. 대량 프로젝트에서는 시간과 비용 때문에 전체 문서를 모두 검토하기보다 일부를 샘플링해 평가하는 경우도 많았습니다.
AI 기반 QE(Quality Estimation)는 이 방식을 바꿉니다. AI가 대량 번역물을 세그먼트 단위로 분석해 오류 가능성과 심각도를 먼저 평가하고, 사람이 확인해야 할 구간을 선별할 수 있습니다. 사람이 모든 문장을 같은 수준으로 검토하는 대신 위험도가 높은 번역에 검수 역량을 집중할 수 있는 것입니다.
즉, 품질 평가는 단순히 오류를 찾아 점수를 매기는 사후 평가에서 대량 번역물의 위험도를 분석하고 사람의 검수 우선순위를 정하는 과정으로 확대되고 있습니다. AI QE는 사람의 검수를 없애는 기술이라기보다 위험 기반 검수(Risk-based Review)를 가능하게 하는 기술에 가깝습니다.
QE와 QA는 역할이 다릅니다
AI 번역 품질을 관리할 때 QE와 QA는 비슷해 보이지만 역할이 다릅니다. QE(Quality Estimation)는 별도의 정답 번역(reference)이 없어도 원문과 번역문을 분석해 품질 수준과 위험도를 추정하고, 사람이 먼저 확인해야 할 세그먼트를 선별합니다. 반면 QA(Quality Assurance)는 숫자·태그·미번역·용어·금지 표현·스타일가이드 위반처럼 실제로 수정해야 할 오류를 구체적으로 찾아냅니다.
쉽게 말하면 QE는 “어디를 먼저 봐야 하는가”를 판단하고, QA는 “무엇이 잘못되었는가”를 확인합니다. QE는 대량 번역의 검수 우선순위를 정하는 데 강하고, QA는 납품 전 구체적인 오류를 찾아 제거하는 데 강합니다.
Hansem QA는 이 두 기능을 하나의 도구 안에서 연결합니다. QE로 대량 번역의 위험을 먼저 측정하고, QA로 규칙·용어·문맥·고객별 요구사항을 구체적으로 검증합니다. 따라서 단순히 AI 번역에 점수를 주는 데서 끝나지 않고, 평가 결과를 실제 수정과 품질관리로 이어지게 합니다.
AI QE는 언제 실행하면 효과적인가
- 대량 번역이 완료된 직후: 전체 물량의 품질 수준을 빠르게 파악하고 문제 구간을 우선 선별합니다.
- 번역 초반 일부 물량이 나온 시점: 반복되는 오류 패턴을 조기에 발견해 이후 물량에 확산되는 것을 줄입니다.
- 여러 번역자나 벤더가 동시에 작업했을 때: 작업자별 품질 편차를 비교하고 검토가 필요한 구간을 식별합니다.
- MT/LLM 번역을 대량 적용한 후: 오역, 누락, 의미 왜곡 가능성이 높은 문장을 선별해 PE를 집중합니다.
- 납품 전 최종 QA 단계: 전체 문서를 다시 읽기보다 위험도가 높은 문장을 우선 검토합니다.
- 고객 수정이나 클레임이 발생한 후: 동일 유형의 오류가 다른 파일이나 언어에도 존재하는지 대량으로 점검합니다.
- 새 번역 엔진·프롬프트·워크플로를 도입했을 때: 기존 방식과 품질을 비교해 새로운 방식의 실제 효과를 검증합니다.
점수만으로는 품질을 관리할 수 없습니다
AI에게 번역이 좋은지 묻고 하나의 점수를 받는 것만으로는 품질관리가 충분하지 않습니다. 같은 문장도 모델이나 조건에 따라 판정이 달라질 수 있고, 하나의 종합 점수만으로는 어떤 종류의 오류가 어디에서 발생했는지, 무엇을 고쳐야 하는지 알기 어렵기 때문입니다.
품질 측정이 실제 관리로 이어지려면 오류를 유형과 심각도로 분류해야 합니다. Hansem QA는 MQM 계열의 오류 분류 방식을 바탕으로 표준화된 기준 및 채점 공식에 따라 일관된 결과를 산출합니다. 이렇게 산출된 결과는 단순한 점수를 넘어 수정 우선순위와 반복 오류 패턴을 보여주는 관리 정보가 됩니다.
현장 경험이 규칙 자산이 되고, 다시 AI 검증으로 이어집니다
한샘글로벌의 품질 검증은 AI에서 시작된 것이 아닙니다. 오랜 기간 매뉴얼과 기술 문서를 개발하고 현지화하면서 반복적으로 발생하는 오류, 사람이 자주 실수하는 구간, 제품과 시장에 따라 달라지는 표기 규칙을 계속 축적해 왔습니다.
이 경험은 용어집, 스타일가이드, QA 체크 항목, 고객별 검수 기준과 같은 규칙 자산으로 정리되었습니다. 이제 Hansem QA는 이러한 기준을 AI와 규칙 기반 검사에 연결해 대량 문서에서도 적용할 수 있도록 확장하고 있습니다.
즉, 한샘의 접근은 새로운 AI 모델을 도입하는 것에 그치지 않습니다. 실제 생산 현장에서 축적한 품질 지식을 “검사할 수 있는 기준”으로 만들고, 그 기준을 다시 자동 검증에 연결하는 것이 핵심입니다.
Hansem QA의 QE는 AI 번역을 어떻게 평가하는가
Hansem QA는 한샘글로벌이 자체 개발해 실제 번역·현지화 생산 환경에서 사용하는 내부 품질 검증 도구입니다. QE와 QA를 함께 수행하며, 판매용 소프트웨어를 소개하기 위한 데모가 아니라 고객 작업물에 실제로 적용하는 생산 공정의 일부라는 점이 중요합니다. 먼저 QE가 AI 또는 기계번역 결과의 품질 수준과 위험도를 어떻게 평가하는지 살펴보겠습니다.
AI 또는 기계번역으로 생성된 결과를 세그먼트 단위로 평가하고, 번역문에서 발견된 문제를 Accuracy, Fluency, Style, Terminology 등의 범주로 분류합니다. 또한 오류의 영향도에 따라 Critical, Major, Minor로 심각도를 구분합니다.
예시 | Critical 오류
Source: Do not restart the device.
Translation: 기기를 다시 시작하세요.
판정: 부정 표현 “not”이 누락되어 원문의 의미가 반대로 바뀐 경우
여기서 중요한 점은 AI가 문서의 최종 점수를 임의로 정하지 않는다는 것입니다. AI는 오류와 심각도를 판정하고, 문서 점수는 정해진 계산식에 따라 산출됩니다. Hansem QA는 Critical 25점, Major 5점, Minor 1점의 벌점을 적용하고 이를 원문 1,000단어 기준 오류 밀도로 환산합니다. 문서 길이가 달라도 같은 기준으로 비교하기 위한 방식입니다. 기본 PASS 기준은 95점이며, 프로젝트나 고객 요구에 따라 기준을 조정할 수 있습니다.
하나의 AI 판단에만 의존하지 않습니다
AI 기반 QE의 한계 중 하나는 같은 문장에 대해서도 모델에 따라 판단이 달라질 수 있다는 점입니다. 한샘글로벌은 현재 QE에 두 개의 AI 모델을 적용해 동일한 문장에 대한 판단을 비교하고, 두 모델의 판단이 얼마나 일치하는지 함께 확인합니다.
두 모델의 판단이 일치하면 결과의 신뢰도를 높게 볼 수 있고, 판단이 엇갈리는 문장은 추가 확인이 필요한 대상으로 구분할 수 있습니다. 중요한 것은 AI 모델의 수를 늘리는 것이 아니라, 모델 간 판단 차이 자체를 품질관리 신호로 활용하는 것입니다.
QA에서는 AI가 잘하는 것과 규칙이 잘하는 것을 분리합니다
QE가 품질 위험을 평가한 뒤, QA는 실제 오류를 검출합니다. Hansem QA는 모든 오류 검수를 AI에게 맡기지 않습니다. 숫자, 태그, 구두점, 공백, 미번역, Unicode 문제처럼 프로그램이 명확하게 판정할 수 있는 항목은 규칙 기반으로 검사합니다. 이런 항목은 코드로 처리하는 편이 더 빠르고 일관적이며, AI 호출 비용도 필요하지 않습니다.
예를 들어 숫자 검사는 단순히 문자열이 같은지 보는 것이 아니라 로케일에 따른 천 단위와 소수점 표기를 인식해 실제 값을 비교합니다. 영어의 “1,000.50”과 독일어의 “1.000,50”처럼 표기가 달라도 값이 같으면 정상으로 처리할 수 있습니다. 태그와 변수 placeholder 역시 누락, 초과, 순서, ID 불일치 등을 별도로 검사합니다.
반면 다의어, 문맥, 톤, 의미 누락이나 추가처럼 코드만으로 판단하기 어려운 영역은 AI가 담당합니다. 즉, “AI로 모두 해결한다”가 아니라 결정적으로 판정할 수 있는 것은 규칙으로 처리하고 의미 판단이 필요한 곳에 AI를 사용하는 구조입니다.
QA에는 고객의 용어집과 스타일가이드도 반영됩니다
실제 현지화 프로젝트에서는 문법적으로 맞는 번역이라도 고객의 기준을 지키지 못하면 사용할 수 없습니다. 제품명과 UI 용어를 정확히 사용해야 하고, 브랜드별 문체와 숫자·단위·날짜·구두점 규칙도 따라야 합니다.
Hansem QA는 용어집을 규칙 기반으로 우선 검사하고, 단순 문자열 비교만으로 처리하기 어려운 경우에는 AI 문맥 검수로 보완합니다. 예를 들어 같은 “save”라도 “파일을 저장하다”와 “시간을 절약하다”는 문맥이 다릅니다. AI 문맥 검수는 이런 다의어와 동의 표현, 굴절형을 문장 안에서 판단합니다.
예시 | 규칙 기반 검수가 놓칠 수 있는 용어 오류
용어집 승인어: login → 로그인
Source: Please log in again.
Translation: 다시 접속해 주세요.
규칙 기반 검사: 원문의 “log in”과 용어집의 “login”이 형태상 달라 단순 문자열 비교에서는 놓칠 수 있음
AI 문맥 검수: 두 표현이 같은 로그인 개념임을 판단해 승인 용어 미사용으로 검출
스타일가이드 역시 단순 참조 문서로 두지 않습니다. 숫자와 단위 표기, UI 표현, 권장·금지 표현, 구두점과 톤 같은 규칙을 AI가 읽고 실제 번역이 해당 기준을 준수하는지 확인할 수 있습니다. 일반적인 언어 품질뿐 아니라 고객별 요구사항까지 품질 평가에 포함하는 것입니다.
Hansem QA는 QE와 QA를 하나의 흐름으로 연결합니다
앞에서 구분한 QE와 QA는 Hansem QA 안에서 독립된 기능으로 끝나지 않고 하나의 품질 검증 흐름으로 이어집니다. QE가 대량 번역의 위험을 먼저 드러내면, QA는 규칙과 고객 기준을 적용해 실제 수정이 필요한 오류를 구체화합니다. 여기에 고객별 커스텀 룰을 더해 프로젝트 특수 요구사항까지 검증합니다.
1. AI QE – 품질 위험과 검수 우선순위를 정합니다
기준번역 없이 원문과 번역문을 분석해 세그먼트별 위험도를 추정하고, 사람이 우선 검토해야 할 구간을 선별합니다. 특히 대량 번역에서 모든 문장을 같은 수준으로 검토하는 대신 위험도가 높은 구간에 사람의 검수 역량을 집중할 수 있게 합니다.
2. QA – 실제 오류와 납품 조건을 검증합니다
숫자·날짜·단위, 태그·마크업, 미번역, 금칙어, 길이 제한, 형식·구두점처럼 명확한 항목은 규칙 기반으로 검사하고, 용어·문맥·톤·스타일가이드처럼 의미 판단이 필요한 영역은 AI 검수로 보완합니다. 즉 QA는 QE가 알려준 위험을 실제 수정 가능한 오류로 구체화하고, 동시에 납품 전 결정적 오류를 전체 범위에서 확인합니다.
3. 고객별 커스텀 룰 – 범용 QA 밖의 요구사항까지 검사합니다
특정 고객·모델·지역판·페이지에만 적용되는 요구사항은 범용 QA만으로 처리하기 어렵습니다. 예를 들어 특정 페이지에 지역 규정 문구가 반드시 들어가야 하는지, 특정 섹션의 순서가 맞는지, 모델명·파트넘버가 정해진 형식을 지키는지 같은 항목입니다. 한샘은 이런 프로젝트 한정 요구사항을 검증 로직으로 만들어 자동 체크에 흡수하고, 필요 기간 동안 운영합니다.
이 세 번째 층은 재사용성이 낮은 대신 고객과 프로젝트에 가장 밀착된 영역입니다. 범용 상용 도구가 사전에 모두 모델링하기 어려운 요구를 실제 생산 현장에서 빠르게 검증 규칙으로 전환할 수 있다는 점이 한샘의 기술적 차별화 지점입니다.
역번역으로 원문의 의미가 유지됐는지 확인합니다
자연스럽게 읽히지만 의미가 달라진 번역은 검출하기 어려운 오류 중 하나입니다. Hansem QA는 이를 보완하기 위해 역번역 기반 검토도 별도로 수행합니다. 번역문을 다시 원문 언어로 되돌린 뒤, AI가 원문과 역번역문의 의미를 비교해 누락이나 불필요한 추가, 의미 변화, 숫자와 단위 오류, 긍정과 부정이 뒤바뀐 경우 등을 확인합니다.
다만 역번역 결과를 절대적인 합격 기준으로 사용하지는 않습니다. 역번역 자체도 AI가 수행하기 때문에 또 다른 오류가 발생할 수 있기 때문입니다. 따라서 역번역은 QE를 대체하는 수단이 아니라 의심 구간을 다시 찾기 위한 독립적인 진단 수단으로 사용합니다.
품질뿐 아니라 비용과 처리 효율도 함께 봅니다
AI 기술을 실제 생산 환경에 적용하려면 정확도뿐 아니라 비용과 처리 시간도 관리해야 합니다. Hansem QA는 AI 검사와 QE 실행 시 사용한 입력·출력 토큰과 예상 비용을 기록하고, 실행별 비용과 누적 비용을 확인할 수 있도록 설계되어 있습니다.
이 데이터는 어떤 모델과 검사 방식이 프로젝트에 적합한지 판단하는 근거가 됩니다. 규칙 기반 검사는 로컬에서 처리하고, AI가 필요한 단계만 선택적으로 호출하는 것도 같은 이유입니다. 품질을 높이기 위해 무조건 더 많은 AI를 사용하는 것이 아니라 필요한 곳에 적절한 수준의 AI를 적용하는 것이 실제 생산 환경에서는 더 중요합니다.
AI 번역의 다음 경쟁력은 검증 기술입니다
AI 번역 자체는 빠르게 보편화되고 있습니다. 앞으로의 차이는 “AI를 번역에 사용할 수 있는가”보다 AI가 만든 결과를 얼마나 신뢰할 수 있는 수준으로 측정하고 검증할 수 있는가에서 만들어질 가능성이 큽니다.
한샘글로벌은 현장에서 축적한 품질 기준을 용어집, 스타일가이드, QA 규칙과 고객별 검수 조건으로 구조화하고, 이를 AI QE, 규칙 기반 QA, 문맥 기반 AI 검수, 역번역 검토와 연결해 실제 생산 환경에서 운영하고 있습니다.
목표는 AI 사용량을 늘리는 것이 아닙니다. AI가 만든 번역을 실제 고객 콘텐츠에 사용할 수 있는 수준으로 검증하고 관리하는 것입니다. 측정할 수 있어야 관리할 수 있고, 관리할 수 있어야 대량의 AI 번역을 안정적으로 생산에 적용할 수 있습니다. 한샘글로벌이 개발하는 품질 기술의 방향도 여기에 있습니다.