
RAG 성능은 검색 최적화보다 답변 검증에서 더 오른다
RAG 기능 4종의 16개 조합을 전부 돌린 완전요인 실험: 답변 검증 하나가 검색 기능 셋을 넘었다
RAG 기능 4종의 16개 조합을 768개 응답으로 비교한 실험에서, 생성한 답의 빠진 측면을 확인하는 완결성 검사 하나가 검색 기능 세 개를 함께 켠 구성보다 품질이 높았다. 지연은 두 배가 됐다.
RAG 답변 품질은 검색을 다듬는 기능보다 생성된 답을 검증하는 기능에서 더 크게 올랐다. RAG 기능 4종을 켜고 끈 16개 조합을 모두 돌려 응답 768개를 채점한 실험에서, 답을 쓴 뒤 빠진 측면을 찾아 다시 검색하는 완결성 검사 하나만 켠 구성이 5점 만점에 4.31점을 받았다. 검색 단계 기능 세 개를 함께 켠 구성은 4.11점이었다. 대신 평균 지연은 기본 78초에서 169초로 두 배를 넘었다(원문 표 3)[1].
근거는 유엔대학(UNU) 도쿄 캠퍼스 컴퓨팅센터의 Ng S. T. Chong이 2026년 arXiv에 올린 단일 저자 논문이다[1]. 채점 응답 760개의 원자료와 질의 24개 정의는 Zenodo에 공개돼 있다[2]. 우리는 이 실험을 직접 재현하지 않았고, 수치는 2026년 11월 기준 arXiv v2 원문에서 옮겼다. 질의를 한 사람이 쓰고 채점도 LLM 판정기 하나가 맡은 소규모 실험이라, 수치는 이 말뭉치와 이 구현에 한정해 읽어야 한다.
우리는 AI 검색 답변에 브랜드가 얼마나 오르는지 재는 제품을 만들고, 그 안의 글 생성 기능도 생성 후 검사와 수정을 거친다. 그래서 검증 단계의 값어치에 이해관계가 있다. 어제 정리한 연구가 검색을 할지 말지라는 앞단의 결정을 다뤘다면, 이 논문은 검색과 생성이 끝난 뒤 답을 다시 확인하는 뒷단을 다룬다. RAG가 필요한 근거를 다 가져오지 못하는 이유를 다룬 글과 함께 읽으면 흐름이 이어진다.
RAG 기능은 하나씩 검증되고 한꺼번에 켜진다
RAG 파이프라인의 개선 기능은 보통 하나씩 기준선과 비교해 효과를 보인다. 실제 서비스에서는 여러 기능이 동시에 켜지는데, 기능끼리 겹치는지나 서로 깎아 먹는지는 따로 재지 않는다. 저자는 이 빈칸을 메우려고 기능 4개의 켜짐·꺼짐을 모두 조합한 2⁴ 완전요인 설계를 썼다(원문 1절)[1]. 조합 16개를 모두 돌리면 각 기능의 주효과를 다른 기능 상태와 무관하게 추정할 수 있고, 둘 이상이 함께 켜질 때의 상호작용도 볼 수 있다.
기능 의 주효과는 그 기능을 켠 구성 8개의 평균 품질에서 끈 구성 8개의 평균을 뺀 값이고, 효과 크기는 이를 합동 표준편차로 나눈 Cohen의 d로 잰다.
여기서 는 정확도·완결성·유용성(각 1에서 5점) 세 점수를 가중치 없이 평균한 종합 품질이고, 는 켠 집단과 끈 집단의 합동 표준편차다. 신뢰구간은 부트스트랩 5,000번 재표본으로 구했다.
RAG 파이프라인 기능 조합은 어떻게 평가하나
실험한 기능은 네 가지다. 둘은 검색 단계에서 LLM 호출 없이 근거를 늘리고, 하나는 검색 전에 질의를 쪼개고, 하나는 생성 뒤에 답을 검증한다(원문 표 1)[1].
| 기능 | 단계 | 동작 | 추가 LLM 호출 |
|---|---|---|---|
| 섹션 확장(SE) | 검색 | 같은 제목 경로 아래 형제 청크를 함께 가져온다 | 거의 없음 |
| 에이전트 검색(AS) | 검색 전 | LLM이 복합 질의를 하위 질의로 쪼개 각각 검색한다 | 1번 + 하위 질의별 검색 |
| 완결성 검사(CC) | 생성 후 | 질문을 측면으로 쪼개 답에 들어갔는지 확인하고, 빠진 측면을 다시 검색해 답을 고친다 | 단계마다 1에서 2번 |
| 목차 기반 검색(ToC) | 검색 | 미리 임베딩한 목차 항목과 질의를 맞춰 해당 페이지 전체를 불러온다 | 거의 없음 |
표 1. 실험한 RAG 기능 4종. 출처: Chong 2026, 표 1[1].
말뭉치는 공개 문서 5개다. GDPR(78쪽), 유엔 직원 규칙(118쪽), EU AI법(144쪽), UNOPS 조달 매뉴얼(195쪽), NIST SP 800-53 개정 5판(492쪽)으로, 제목 계층의 깊이가 제각각이고 상호 참조가 촘촘한 규정·정책 문서다[1].
질의 24개는 8개 유형으로 나뉜다. 기준선으로 충분한 단순 질의, 기능 하나를 겨냥한 질의 4종, 두 기능 조합을 겨냥한 질의 2종, 네 기능을 모두 요구하는 질의다. "GDPR상 개인정보의 정의는?"이 단순 질의라면, "GDPR에서 적법한 처리 조건과 유효한 동의의 요건은?"은 빠짐없는 나열을 요구하는 완결성 질의다(원문 부록 D)[1]. 16개 구성 × 질의 24개 × 모델 2개(DeepSeek-V4-Flash, grok-4.3)로 768개 조건을 설계했고, 일시적 API 오류 8건을 뺀 760개가 완료됐다.
채점은 Claude Opus 4.6이 파이프라인을 거치지 않고 온도 0으로 맡았다. 원문에서 만들고 사람이 사실관계를 확인한 기준 답안을 채점표로 삼아 정확도·완결성·유용성을 각각 1에서 5점으로 매겼다(원문 3.3절·부록 C)[1]. 검색은 nomic-embed-text 임베딩, 512토큰 청크, 코사인 유사도와 BM25를 0.7 대 0.3으로 섞은 하이브리드 검색이고, 후보 20개를 재순위해 상위 5개를 쓴다.
답변 검증과 검색 최적화 중 효과가 큰 쪽은 검증이었다
완결성 검사(CC)가 네 기능 중 효과가 가장 컸다. 종합 품질을 0.39점 올렸고(d = +0.48, p < 0.001) 정확도·완결성·유용성 세 점수에서 모두 유의했다. 목차 기반 검색(ToC)은 LLM 호출을 더하지 않고 0.18점을 올렸고(d = +0.22, p = 0.003), 에이전트 검색(AS)은 경계선(d = +0.14, p = 0.050)에 정확도 효과는 없었다. 섹션 확장(SE)은 모든 점수에서 0이었다(원문 표 4·표 7)[1].
| 기능 | 켬 | 끔 | 차이 | d | p |
|---|---|---|---|---|---|
| 완결성 검사(CC) | 4.24 | 3.85 | +0.39 | +0.48 | <0.001 |
| 목차 기반 검색(ToC) | 4.13 | 3.95 | +0.18 | +0.22 | 0.003 |
| 에이전트 검색(AS) | 4.10 | 3.98 | +0.12 | +0.14 | 0.050 |
| 섹션 확장(SE) | 4.04 | 4.04 | -0.01 | -0.01 | 0.894 |
표 2. 기능별 주효과(종합 품질 1에서 5점, 응답 759개). 출처: Chong 2026, 표 4[1].
구성별로 보면 더 분명하다. CC 하나만 켠 구성(4.31점)이 CC가 없는 모든 구성보다 높았고, SE·AS·ToC 세 개를 다 켠 구성(4.11점)도 넘었다. 두 모델의 평균 품질은 4.05점과 4.03점으로 통계적으로 구별되지 않아, 한 모델에 치우친 결과도 아니었다(원문 4.1절)[1]. 켠 기능 수가 늘면 평균 품질도 오르지만 같은 개수 안의 편차가 커서, 몇 개를 켜느냐보다 어떤 기능을 켜느냐가 결과를 갈랐다.
RAG 답변 검증은 어떻게 하나: 질문을 측면으로 쪼개 확인한다
CC는 질문을 정보 측면(facet)으로 쪼개고, 측면마다 답에 들어갔는지를 들어감·빠짐·일부로 판정한다. 측면 하나라도 빠졌거나 일부만 들어간 측면이 여럿이면 답을 미완으로 보고, 빠진 측면만 다시 검색해 답을 새로 쓴다. 번호가 매겨진 조항이 중간에 빠졌는지도 제목 경로로 확인한다(원문 3.1절)[1]. 다시 도는 범위는 최대 2단계, 하위 질의 최대 3개로 묶었다. 생성한 답을 되짚는 방식은 Self-RAG 같은 앞선 연구가 있고[3], CC는 그 판정을 측면 단위로 쪼갠 변형이다.
저자가 강조하는 대목은 판정 프롬프트다. "이 답이 완전한가"를 한 번에 묻는 전체 판정은 관대한 쪽으로 기울어 빠진 내용을 놓치는 위음성이 많았고, 측면을 하나씩 묻는 프롬프트가 이를 크게 줄였다. 측면 판정을 맡은 모델은 로컬의 llama3.1:8b였다(원문 2절·부록 A)[1]. 답을 쓴 클라우드 모델보다 훨씬 작은 모델이 판정을 맡아도 이 구조가 동작했다는 뜻이다.
CC는 완결성뿐 아니라 정확도도 올렸다(+0.25점). 다시 검색하는 과정이 빈칸을 채우면서 틀린 내용도 바로잡았다는 것이 저자의 해석이다. 빠짐없는 나열을 요구하는 질의에서 효과가 가장 컸고, 완결성 점수로는 d = +0.83이었다(원문 4.4절)[1]. ToC와 함께 켜면 CC가 답을 다시 쓰는 횟수가 질의당 약 1.6번에서 1.3에서 1.5번으로 줄었다. 목차 검색이 미리 가져온 페이지가 CC가 지적할 측면 일부를 먼저 채운 흔적이다. RAG 할루시네이션 방어 전략에서 검증 자동화의 한계를 다뤘는데, 이 실험은 검증을 측면 단위 체크리스트로 쪼갰을 때 그 한계가 일부 줄어든 사례다.
하나씩 시험하면 기능 순위가 뒤바뀐다
기능을 하나씩 기준선과 비교했다면 SE +0.02점, AS +0.18점, CC +0.71점, ToC +0.29점으로 보고됐을 것이다. 완전요인 설계는 여기에 더해, CC가 켜진 구성에 SE를 더하면 그 작은 이득마저 사라진다는 중복을 드러냈다(원문 5절)[1]. AS와 ToC는 서로 다른 단계(검색 전과 검색)에서 작동해 효과가 그대로 더해졌고, 셋이나 넷이 함께 켜질 때의 상호작용은 모두 0과 구별되지 않았다. 기능 효과는 곱해지지 않고 더해졌다.
질의 유형에 따라 순위도 바뀌었다. CC의 종합 효과 d = +0.48은 단순 질의의 +0.16부터 완결성 질의의 +0.83까지를 평균한 값이다. AS는 목차와 완결성을 함께 요구하는 질의에서 품질을 0.63점 올렸지만, 정작 AS를 겨냥해 만든 질의에서는 0.22점 떨어뜨렸다(원문 4.4절)[1]. 저자는 질의를 쪼개는 과정이 검색을 오히려 조각낸다고 본다. 단순 질의로만 평가하면 CC는 과소평가되고 AS는 과대평가된다. 측정 설계 하나가 결론을 바꾼다는 점에서 AI 검색 가시성을 한 번만 재면 안 되는 이유와 같은 교훈이다.
RAG 성능 높이는 방법: 지연 예산별 구성
품질과 지연을 함께 보면 16개 구성 중 6개가 파레토 최적이다. 네 기능을 다 켠 구성이 4.35점으로 가장 높지만 175초로 기본(78초)의 두 배를 넘고, CC 하나만 켠 구성이 4.31점, 169초로 바로 뒤에 선다. CC가 들어간 구성은 평균 210초, 빠진 구성은 92초여서 지연의 주원인은 CC였다(원문 4.5절·표 8)[1].
| 구성 | 종합 품질 | 지연(초) |
|---|---|---|
| 기본 | 3.60 | 78 |
| SE+ToC | 3.90 | 80 |
| AS+ToC | 4.09 | 95 |
| SE+AS+ToC | 4.11 | 103 |
| CC | 4.31 | 169 |
| SE+AS+CC+ToC | 4.35 | 175 |
표 3. 품질과 지연의 파레토 최적 구성 6개(두 모델, 질의 24개 평균). 출처: Chong 2026, 표 8[1].
저자의 권고는 지연 예산에 따라 갈린다. 품질이 중요한 곳에서는 CC를 기본으로 켜고, 지연이 빠듯한 곳에서는 LLM 호출이 늘지 않는 ToC부터 켜며, 균형점으로는 AS+ToC(4.09점, 95초)를 든다. 이 말뭉치에서는 SE를 빼도 된다고 봤다(원문 5절·표 6)[1]. CC의 지연을 줄일 방향으로는 기본 구성이 이미 잘 답하는 질의에서 CC를 건너뛰는 질의 복잡도 게이트를 후속 과제로 꼽았다. 우리 생각에는 에이전트가 검색이 필요한지 미리 안다는 연구의 은닉 상태 분류기가 그런 게이트의 후보다.
AI 검색 답변에 이 결과를 겹쳐 보면
이 대목부터는 우리 해석이다. ChatGPT 검색이나 Perplexity 같은 AI 검색도 검색한 문서로 답을 쓰는 RAG 구조이고, 답을 낸 뒤 빠진 측면을 확인해 다시 검색하는 단계가 붙으면 인용 후보가 한 번 더 열린다. 이 논문은 상용 AI 검색이 그런 검증 단계를 쓰는지 다루지 않았으므로, 아래는 구조가 같다는 가정 위의 추론이다.
그 가정에서 페이지 쪽 함의는 측면 단위의 대응이다. CC는 빠진 측면만 골라 다시 찾으므로, 질문의 한 측면(동의의 요건, 과징금 산정 방식 같은)에 정확히 답하는 단락을 가진 페이지가 재검색에서 걸리기 쉽다. 인용된 페이지가 답변에 얼마나 흡수되는지 잰 연구가 인용 이후를 봤다면, 이 실험은 답이 근거를 빠짐없이 썼는지 확인하는 단계가 품질을 가른다는 점을 보여 준다. 질문을 측면으로 쪼개는 방식은 AI가 질문을 여러 검색어로 쪼개는 팬아웃과도 닮았다.
이 연구가 못 본 것
규모와 설계의 한계는 저자가 직접 적었다. 질의 24개를 한 사람이 쓰고 관련 페이지도 혼자 표시했으며, 유형마다 고유 질의가 2개에서 4개뿐이다. 같은 질의를 16개 구성과 2개 모델에 반복해 응답 수는 늘었지만, 부트스트랩 신뢰구간은 질의 단위로 묶인 상관을 보정하지 못한다(원문 Limitations)[1]. 채점도 LLM 판정기 하나에 기대고, 사람과의 일치도 검증이나 두 번째 판정기가 없다. 기준 답안과 맞춰 채점하므로 기준 답안에 없는 타당한 관점은 점수에 잡히지 않는다.
일반화 범위도 좁다. 답을 쓴 두 모델은 성능이 비슷한 클라우드 모델이라 작은 로컬 모델에서는 효과가 다를 수 있고, 말뭉치가 공개 규정·정책 문서뿐이라 기술 매뉴얼이나 재무 보고서에서는 결과가 달라질 수 있다. 네 기능 모두 저자가 직접 구현한 한 가지 버전이라, 결과는 기법 일반보다 이 구현의 성질로 읽어야 한다. 페이지 단위 검색 정확도도 ToC만 잴 수 있었는데, ToC 페이지가 관련 내용을 맞힌 실행은 21%였다(원문 4.6절)[1]. 우리 의문을 하나 더하면, 기본 구성도 응답에 78초가 걸려 절대 지연은 실시간 검색 서비스와 견주기 어렵다.
실무에서는 검증 단계부터 켜고, 질문 유형을 섞어 평가한다
RAG를 만드는 쪽에 남는 순서는 단순하다. 지연을 감당할 수 있으면 생성 후 측면 단위 완결성 검사를 먼저 붙이고, 지연이 빠듯하면 LLM 호출이 늘지 않는 구조 기반 검색(목차·제목 계층)부터 붙인다. 기능을 고를 때는 하나씩 켜 보는 비교 대신 조합을 돌리고, 평가 질문에 단순 질의와 빠짐없는 나열을 요구하는 질의를 섞어야 순위가 뒤집히지 않는다.
우리 글 생성 기능도 같은 구조로 움직인다. 초안을 쓴 뒤 규칙·청크·어휘 검사를 돌리고, 실패한 검사만 골라 한 번 국소 수정한다. 이 논문을 읽고 나니 그 검사 목록에 "질문의 측면마다 답하는 단락이 있는가"를 넣을지 따져 볼 거리가 생겼다.
자주 묻는 질문
RAG 성능을 높이려면 검색과 답변 검증 중 무엇을 먼저 손봐야 하나?
이 실험에서는 답변 검증이 먼저였다. 생성 뒤 질문의 측면마다 답에 들어갔는지 확인하는 완결성 검사 하나만 켠 구성이 5점 만점에 4.31점으로, 검색 단계 기능 세 개를 함께 켠 구성(4.11점)보다 높았다. 다만 평균 지연이 78초에서 169초로 늘어, 지연이 빠듯한 서비스라면 LLM 호출이 늘지 않는 목차 기반 검색부터 붙이는 편이 맞다.
RAG 답변 완결성 검사는 어떻게 구현하나?
질문을 정보 측면으로 쪼개고, 측면마다 답에 들어갔는지를 들어감·빠짐·일부로 판정한 뒤 빠진 측면만 다시 검색해 답을 고친다. 이 답이 완전한지를 한 번에 묻는 프롬프트는 관대하게 판정해 누락을 놓치기 쉬웠고, 측면별로 나눠 묻는 프롬프트가 그 누락을 크게 줄였다. 논문에서는 측면 판정을 8B 크기의 로컬 모델이 맡았다.
RAG 기능은 하나씩 테스트해서 고르면 안 되나?
기능끼리 겹치는 효과를 놓친다. 이 실험에서 섹션 확장은 단독으로는 거의 효과가 없었고, 완결성 검사가 켜진 구성에 더하면 남은 이득마저 사라졌다. 에이전트 검색은 질의 유형에 따라 품질을 올리기도 내리기도 해서, 평가 질문을 한 종류로만 짜면 순위가 뒤바뀐다.
이 결과를 ChatGPT 같은 AI 검색에도 그대로 적용할 수 있나?
그대로는 어렵다. 실험은 공개 규정·정책 문서 5개, 질의 24개, 비슷한 성능의 클라우드 모델 2개, 저자가 직접 구현한 기능으로 이뤄졌다. 상용 AI 검색이 답을 낸 뒤 검증하고 다시 검색하는 단계를 쓰는지는 이 논문이 다루지 않는다.
참고자료
- [1]Ng S. T. Chong, "Post-Generation Verification Dominates Retrieval Optimization: A 2^4 Factorial Ablation of RAG Pipeline Features", arXiv:2609.35774v2, 2026
- [2]원자료(채점 응답 760개)와 질의 24개 정의, Zenodo
- [3]Akari Asai 외, "Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection", ICLR 2024
요약
- RAG 개선 기능은 보통 하나씩 기준선과 비교해 검증되지만 실제로는 한꺼번에 켜진다. 이 논문은 기능 4개의 켜짐·꺼짐 16개 조합을 모두 돌려 상호작용까지 쟀다.
- 생성 후 질문의 측면마다 답에 들어갔는지 확인하는 완결성 검사가 가장 효과가 컸고(d = +0.48), 이것 하나만 켠 구성이 검색 기능 세 개를 함께 켠 구성보다 품질이 높았다.
- 목차 기반 검색은 LLM 호출을 늘리지 않고 품질을 올렸고, 에이전트 검색은 질의 유형에 따라 효과의 부호가 바뀌었으며, 섹션 확장은 효과가 없었다.
- 품질이 가장 높은 구성은 지연이 기본의 두 배를 넘어, 지연 예산에 따라 고를 구성이 달라진다.
- 질의 24개를 한 사람이 쓰고 LLM 판정기 하나가 채점한 소규모 실험이라, 이 말뭉치와 이 구현에 한정해 읽어야 한다.
이 글의 주제를 우리 브랜드로 확인해 보세요
고객의 한국어 질문에 ChatGPT·Perplexity가 어떻게 답하는지 측정하고 빠진 자리를 찾아 고치는 TRAIL Search가 이 글의 내용을 진단으로 이어 줍니다. 카드 없이 질문 10개로 시작합니다.
다른 글

지역 실험으로 마케팅 믹스 모델 보정하는 법: ROAS 숫자 하나 대신 시계열 전체를 쓴다
지역 실험으로 마케팅 믹스 모델을 보정할 때 ROAS 숫자 하나만 쓰면 이월과 포화 정보가 버려진다. 처치·대조 차분식으로 세 파라미터를 추정해 MMM의 ROAS 과대추정을 바로잡은 2026년 논문을 원문 수치로 정리했다.

LLM 추천 시스템의 콜드 스타트를 지식그래프 RAG로 푼다
LLM 추천 시스템이 질문마다 지식그래프 검색량을 스스로 고르게 한 KDD 2026 연구를 정리했다. 콜드 스타트 정확도가 0.39에서 0.50으로 올랐고, 응답 시간은 절반 이하로 줄었다.

AI 에이전트는 언제 웹 검색을 할지 이미 알고 있다
LLM 에이전트는 웹 검색 같은 도구가 필요한지를 답을 쓰기 전 은닉 상태에 이미 담고 있다(AUROC 0.89에서 0.96). 이 신호로 도구 호출을 48% 줄인 UCSD 연구를 정리했다.
같은 주제로 이어 읽기
- 생성형 검색은 전통 검색과 다른 사이트를 인용한다구글 검색, AI 오버뷰, 제미나이가 같은 질문에 인용하는 출처는 평균 18%만 겹쳤다. AI 오버뷰는 실제 질문의 51.5%에 뜨고, AI 크롤러를 막은 매체는 인용에서 밀려난다. SIGIR 2026 연구를 정리했다.
- AI 검색은 이름은 알아도 신제품은 추천하지 않는다AI는 이름을 물으면 제품을 99% 알아보지만 '좋은 신제품 추천해줘'에는 3%만 등장한다. Product Hunt 스타트업 112개를 2,240개 질문으로 잰 2025년 연구를 읽고, GEO 점수가 왜 신제품 노출을 못 높였는지 정리했다.
- GEO 효과를 매출로 재는 법: AI 답변 노출을 마케팅 믹스 모델에 넣기GEO가 매출에 준 효과를 재려면 AI 답변의 브랜드 등장 확률을 질문 수, 엔진 점유율, 인지 확률과 곱해 시장별 노출로 바꾼 뒤 MMM에 넣어야 한다. 2026년 GMMM 논문을 원문 수치로 정리했다.
이 글은 Papers 카테고리에 속해요. 같은 카테고리 글 44편을 한자리에서 볼 수 있어요. Papers 카테고리 글 전체 보기