① BigCodeBench · 코드 생성
n = 87 · Pass@1MIX1이 KO보다 평균 +1.1%p였지만, 95% bootstrap 구간은 −1.9~+4.2%p입니다. MIX3는 가장 낮았습니다.
Korean–English code-mixing experiment · 3 runs
영어를 섞으면더 잘 풀까?아직은 “그렇다”가 아니다.
같은 문제에 옷만 다르게 입혀 Gemini 3.7 Flash에게 세 번씩 물었습니다. 결과는 간단합니다. 영어가 늘 1등도 아니었고, MIX1의 이점도 task마다 달랐습니다.
문제는 그대로,
말투만 다섯 벌
EN영어 원문기준이 되는 원래 질문
KO한국어 번역영어 표현을 섞지 않은 질문
MIX1익숙한 외래어코드, 서버처럼 영어에서 온 표현
MIX2+ 전문 개념기술·금융·DB 개념까지 영어로
MIX3+ 동작 표현calculate, list 같은 동작까지 영어로
전처리는 266개 sample에서 freeze했습니다. 같은 1,330개 요청을 독립 Batch로 두 번 더 실행해, 기존 run과 합쳐 총 3회를 비교했습니다. 세 run의 request hash는 모두 같았습니다.
벤치마크가 어떻게 도는지
실제 샘플로 보기
평균 점수만 보면 시험이 추상적으로 느껴집니다. 아래 세 페이지에는 실제 원문, KO·MIX1·2·3, Gemini의 실제 출력, 세 번의 통과·실패 기록을 넣었습니다.
01
BigCodeBench
설명서를 읽고 Python 함수를 만든 뒤 unit test로 채점합니다.
실제 샘플:
현재 시간을 붙여 돌려주는 non-blocking echo server 만들기
원문·코드 출력 보기 →
02현재 시간을 붙여 돌려주는 non-blocking echo server 만들기
BIRD
자연어 질문을 SQLite SQL로 바꾸고 실행 결과가 맞는지 봅니다.
실제 샘플:
291번 race에서 0점인 constructor 이름 찾기
schema·SQL 출력 보기 →
03291번 race에서 0점인 constructor 이름 찾기
FinanceReasoning
금융 상황을 읽고 Python 계산 프로그램을 실행해 숫자를 맞힙니다.
실제 샘플:
TFSA 초과 납입에 붙는 총 세금 벌금 계산
문제·계산 출력 보기 →
TFSA 초과 납입에 붙는 총 세금 벌금 계산
세 운동장에서는
우승자가 달랐다
아래는 세 run의 평균입니다. benchmark ambiguity와 timeout artifact를 미리 정한 규칙으로 제외한 strict-primary 결과입니다.
② BIRD · Text-to-SQL
n = 63 · Execution accuracyKO와 MIX1은 평균이 같았습니다. EN·KO의 순서는 run마다 뒤집혔고, MIX2에서 작게 내려갔습니다.
③ FinanceReasoning · 금융 계산
n = 105 · PoT accuracy거의 모두 비슷합니다. 이미 점수가 높아 천장 효과가 크고, 말투 차이를 보기 어려운 task였습니다.
가설 체크
“EN이 가장 높다” → 세 task 모두 3회 평균에서는 아니었습니다.
“MIX1이 KO보다 높다” → 코드 생성에서 +1.1%p, BIRD에서 0.0%p, 금융에서 −0.3%p였습니다. 지금은 하나의 공통 효과라고 부를 수 없습니다.
왜 바로 결론 내리면 안 될까?
0~2.7%p
주요 condition 간 평균 차이는 대체로 이 정도였습니다.
최대 6.9%
BigCodeBench에서는 같은 condition도 run이 바뀌면 sample 점수가 이 정도까지 뒤집혔습니다.
코드 생성효과보다 생성 흔들림이 더 큽니다. MIX1의 작은 우세는 흥미롭지만 아직 재현성 있는 승리로 보기 어렵습니다.
Text-to-SQL상대적으로 안정적이지만 condition 차이가 작고, EN과 KO의 순위가 run마다 달라졌습니다.
금융 계산거의 모든 조건이 89%대입니다. 쉬워서 차이가 없는지, 언어가 정말 영향이 없는지 지금 표본만으로는 나누기 어렵습니다.
전처리 QC결과를 보기 전에 31개를 블라인드 검수해 4개를 flag했습니다. 그 4개를 뺀 분석에서도 큰 이야기는 바뀌지 않았습니다.
그래서 연구는 이렇게 끌고 가면 된다
- task별 가설로 바꿉니다. “영어 혼용은 언제나 좋다”보다 코드·SQL·금융에서 효과가 왜 다른지 묻는 편이 맞습니다.
- 단일 run 점수는 쓰지 않습니다. 이후 모델도 최소 반복 실행하고, 평균 효과와 flip rate를 함께 보고합니다.
- FinanceReasoning은 난도를 보완합니다. 천장 효과가 적은 하위집합이나 더 어려운 금융 benchmark를 보조 분석으로 검토합니다.
- 아직 세 모델로 확대하지 않습니다. 이 결과와 분석 계획을 먼저 사람에게 확인받고, 다음 human gate에서 범위를 정합니다.