AI가 못 푸는 문제: 각국 원어민의 문화 기반 프롬프트

프로젝트 개요

한샘글로벌은 15개국 이상의 원어민 작성자 네트워크를 꾸려, 각 나라 문화에 뿌리를 둔 AI 평가용 문제를 만들었습니다. AI 분야에서는 이런 평가용 질문을 프롬프트(prompt)라고 부릅니다. 작성자가 직접 대상 AI에 문제를 돌려 정말 못 푸는지 확인하고, 별도 검수팀이 한 번 더 독립적으로 검증한 뒤 채택하는 방식으로 진행했습니다.

한샘글로벌의 대응

1. 원어민 작성자를 모아 기준을 교육했습니다

먼저 대상 언어에 능통하고 그 문화권에서 실제로 살아온 작성자를 모았습니다. 그리고 기준을 분명히 했습니다. 문제는 독창적이고 충분히 어려워야 하며, 정답이 하나로 분명하고, 질문만 봐도 필요한 맥락이 다 담겨 있어야 하며, 시간이 지나도 답이 바뀌지 않아야 합니다. 가이드만 건네주는 데 그치지 않고, 좋은 예와 나쁜 예를 직접 비교해 보며 기준을 익히도록 했습니다.

예를 들어 ‘지역 풍습을 활용한 여러 단계의 수수께끼’와 ‘오늘 주가를 묻는 질문’을 나란히 놓고 비교했습니다. 오늘 주가는 시점에 따라 답이 계속 바뀌어 평가에 쓸 수 없습니다. 이런 차이를 미리 보여주니 나중에 다시 작업하는 일이 크게 줄었습니다.

2. 작성자가 직접 AI에 돌려 ‘정말 못 푸는지’ 먼저 확인했습니다

이 단계가 품질을 좌우한 가장 중요한 절차였습니다. 작성자는 문제를 제출하기 전에 직접 대상 AI에 넣어, 그 AI가 실제로 못 푸는지 확인해야 했습니다. 못 푸는 경우는 세 가지로 나눴습니다. 아예 답을 못 하거나, 틀린 답을 내놓거나, 겉보기엔 맞는 것 같지만 사실이 틀렸거나 논리에 구멍이 있는 경우입니다.

3. 별도 검수팀이 한 번 더 독립적으로 검증했습니다

작성자는 자기 문제를 후하게 평가하기 마련입니다. 그래서 자체 확인에 그치지 않고, 별도의 검수팀이 모든 문제를 독립적으로 다시 점검했습니다. 독창성과 객관성, 문화적 근거가 탄탄한지 확인하고, ‘AI가 못 풀었다’고 기록된 것이 실제 실력의 한계 때문인지 아니면 질문이 애매해서 그런 것인지를 집중적으로 가려냈습니다.

채택된 문제마다 AI의 실제 응답, 어떻게 틀렸는지, 무엇을 시험하려던 문제인지를 함께 기록했습니다. 이 기록 덕분에 단순한 질문 모음이 아니라, 이후 학습과 평가에 다시 쓸 수 있는 데이터가 되었습니다.

결과

이 프로젝트는 한샘글로벌의 강점을 잘 보여줍니다. 15개국 이상의 원어민 작성자와 독립 검수 체계를 갖춰야, 그 문화권에서 살아온 사람만 아는 지식을 믿을 수 있는 평가 자료로 바꿀 수 있기 때문입니다. 한샘글로벌은 이렇게 여러 나라의 언어와 문화를 아우르는 데이터 작업을 안정적으로 수행합니다. 1990년 설립 이후 쌓아 온 언어 전문성과 전 세계 원어민 네트워크가 그 바탕이 됩니다.

이러한 원어민 데이터 생성과 모델 검증 방식은 피지컬 AI에서도 활용할 수 있습니다. 여러 나라 사용자가 실제로 쓰는 표현으로 다국어 로봇 명령 데이터를 만들거나, 같은 명령을 언어와 표현을 바꿔 제시했을 때 로봇이 올바르게 이해하고 행동하는지 평가하는 다국어 피지컬 AI 모델 평가 데이터가 그 예입니다.