AI 에이전트는 언제 웹 검색을 할지 이미 알고 있다

LLM 에이전트는 웹 검색 같은 도구가 지금 필요한지를 답을 쓰기 전에 이미 알고 있다. 질문을 읽은 직후의 은닉 상태에 선형 분류기 하나를 대면 도구가 필요한 과제를 AUROC 0.89에서 0.96으로 가려냈고, 이는 모델이 말로 풀어낸 판단보다 정확했다^[1]. 그런데도 에이전트는 도구가 있으면 일단 부른다. 이 신호를 읽어 응답 첫머리를 채우는 간단한 방법으로 도구 호출을 48% 줄이면서 정확도는 1.7%포인트만 잃었다(원문 초록)^[1].

근거는 UCSD 연구진이 2026년 5월 공개한 WHEN2TOOL 논문이다^[1]. 18개 환경(단일 단계 15개, 다단계 3개)에 학습 과제 1,080개, 평가 과제 2,700개로 벤치마크를 만들고, Qwen3(1.7B·4B·14B·32B)와 Llama(3.1-8B·3.3-70B) 6개 모델을 실험했다. 저자들이 공개한 코드와 벤치마크가 이 글의 1차 자료이고^[2], 우리는 결과를 직접 재현하지는 않았다. 수치는 2026년 11월 기준 arXiv v2 원문에서 옮겼다.

우리는 AI 검색에서 브랜드가 얼마나 인용되는지 재는 제품을 만들고 있어, AI가 언제 웹을 찾고 언제 기억으로 답하는지에 이해관계가 있다. 이 논문은 상용 AI 검색을 다루지 않고 오픈 모델 에이전트를 다룬다. 그래서 수치는 원문 그대로 적고, GEO와 잇는 대목은 우리 해석이라고 따로 표시한다. 작은 모델에 결정을 맡겨 에이전트 비용을 줄인 연구가 무엇을 맡길지를 다뤘다면, 이 글은 도구를 부를지 말지라는 더 앞단의 결정을 다룬다.

에이전트는 필요 없는 도구 호출을 기본으로 한다

도구를 쥐여 준 LLM 에이전트는 도구가 필요 없는 과제에도 도구를 부른다. 기본 설정에서 6개 모델은 단일 단계 평가 과제 2,250개에 도구를 2,100번에서 4,400번 불러, 과제당 한 번이 넘었다(원문 3.2절)^[1]. 도구 없이 대부분 풀리는 쉬운 과제 750개에도 Qwen3-1.7B는 864번, Llama-3.3-70B는 1,482번 도구를 불렀다. 저자들은 이 행동을 "도구가 있으니 쓴다"로 요약한다.

벤치마크는 도구가 필요한 상황을 세 갈래로 나눈다. 계산 규모(12+7은 암산, 조 단위 곱셈은 계산기), 지식 경계(프랑스 수도는 상식, 잘 알려지지 않은 역사 날짜는 검색), 실행 신뢰도(짧은 코드 출력은 머리로, 깊은 재귀 추적은 실행기)다. 각 환경에 쉬움·중간·어려움 세 난이도를 두어, 중간 난이도가 도구가 필요한지 애매한 결정 경계가 되도록 설계했다. 두 번째 갈래 "내가 이걸 아는가"가 웹 검색과 RAG를 부를지의 결정이고, 논문은 사람이 달에 착륙한 해를 묻는데 웹 검색을 띄울 이유가 없다는 예를 든다.

프롬프트로 도구 호출을 줄이면 어려운 문제가 먼저 무너진다

프롬프트로 도구 사용을 아끼라고 지시하면 호출은 줄지만, 필요한 호출까지 가리지 않고 줄어든다. 저자들은 호출 1개를 아낄 때 잃는 정확도를 비용으로 쟀는데, Qwen3-4B-Instruct에서 쉬운 과제는 -17.3, 어려운 과제는 -42.4로, 어려운 과제가 호출 1개당 2.5배 더 많은 정확도를 잃었다(원문 표 2)^[1]. 도구가 정말 필요한 과제에서 도구를 빼앗는 셈이다.

먼저 필요성을 따져 보고 행동하게 하는 방식(Reason-then-Act)도 일부만 도왔다. 쉬운 과제에서는 불필요한 호출이 줄었지만 어려운 과제의 비용은 여전히 컸고(Qwen3-14B 어려운 과제 -34.7), 추론 토큰이 늘었다. 모델에 따라서는 아예 망가졌다. Llama-3.1-8B는 정확도가 79.5%에서 31.2%로, Llama-3.3-70B는 83.1%에서 47.9%로 떨어졌는데, 도구를 부르겠다고 말만 하고 올바른 호출 형식을 끝내 내지 못했다(원문 3.2절)^[1]. 지시문 몇 가지로는 정확도와 호출 수 사이에서 원하는 지점을 고를 수도 없었다. "필요할 때만 쓰라"는 지시는 기본 설정과 거의 같은 결과를 냈다.

모델은 검색이 필요한지 은닉 상태에 이미 적어 둔다

모델은 도구가 필요한지를 생성 전 은닉 상태에 이미 담고 있다. 저자들은 각 과제를 도구 없이 풀게 해서 맞히면 도구 불필요, 틀리면 도구 필요로 이름표를 붙이고, 질문의 마지막 토큰 위치에서 모든 층의 은닉 상태를 꺼내 L2 정규화 로지스틱 회귀를 학습했다. 학습 예시 900개로 CPU에서 몇 초면 끝나는 분류기가 평가 과제 2,250개에서 AUROC 0.89에서 0.96을 냈다(원문 4절)^[1].

표 1. 생성 전 은닉 상태로 도구 필요 여부를 예측한 AUROC. 출처: Sun 외 2026, 표 3^[1].

가장 인상적인 결과는 Llama다. 먼저 생각하게 했을 때 도구 호출이 무너졌던 바로 그 두 모델에서도 분류기는 AUROC 0.9를 넘겼다. 도구가 필요하다는 정보가 표현 안에 분명히 있는데, 생성 과정이 그것을 행동으로 옮기지 못한다는 뜻이다. 난이도별로는 중간 과제가 가장 낮았는데, 모델 스스로도 확신하지 못하는 결정 경계라는 설계 의도와 맞는다.

도구 호출 비용을 48% 줄인 방법: 프로브와 프리필

Probe&Prefill은 은닉 상태를 읽은 분류기의 판단을 응답 첫머리에 미리 써 넣어 도구 호출을 줄인다. 분류기가 도구가 필요 없다고 보면 "I can solve this directly without using a tool", 필요하다고 보면 "I need to use a tool for this question" 같은 문장을 채워 넣고, 모델은 그 뒤를 이어 생성한다(원문 5절)^[1]. 분류기 임계값을 움직이면 정확도와 호출 수 사이의 지점을 연속적으로 고를 수 있고, 추가 모델 호출 없이 과제당 1ms 미만이 더해진다.

6개 모델 평균으로 도구 호출을 48% 줄이면서 정확도는 1.7%포인트만 잃었다. 비슷한 정확도에서 가장 나은 기준선은 호출을 6%만 줄였고, 비슷하게 줄인 기준선은 정확도 손실이 5배 컸다(원문 초록·표 4)^[1]. 호출 1개를 아낄 때의 정확도 비용은 쉬운 과제 -1.6, 어려운 과제 -3.4로 모든 기준선보다 작았다. 쉬운 호출은 건너뛰고 어려운 호출은 남기는 선택적 절감이라는 점이 프롬프트 방식과 갈리는 지점이다.

표 2. 도구 호출 1개를 아낄 때 잃는 정확도(값이 0에 가까울수록 좋음). 출처: Sun 외 2026, 표 4^[1].

다단계 환경 3개에서는 Qwen 모델의 도구 호출을 최대 75% 줄이면서 정확도를 유지하거나 높였다. 같은 범주 안에서 학습에 쓰지 않은 환경으로도 분류기가 옮겨 갔다. 전체 미세조정(SFT)과도 비교했는데, 정확도는 올랐지만 호출을 안정적으로 줄이지 못했고 비용은 자릿수가 달랐다(원문 부록 C·D·H)^[1].

실제 웹 검색 에이전트에서도 검색 호출이 줄었다

통제된 벤치마크 밖, 실제 검색 에이전트 환경에서도 검색 호출이 20%에서 56% 줄었다. 저자들은 Search-o1 프레임워크의 공개 질의응답 데이터셋 6개에 Qwen3-4B-Instruct로 같은 실험을 돌렸다^[3]. 6개 중 4개에서 Probe&Prefill이 기준선과 같거나 높은 정확도로 검색을 더 많이 줄였다(원문 부록 G)^[1].

표 3. Search-o1 데이터셋별 정확도(%)와 검색 호출 수, 괄호는 기본 대비 검색 감소율. 출처: Sun 외 2026, 표 18^[1].

초록의 "20%에서 56%, 정확도 손실 없이"는 이 표의 좋은 쪽을 요약한 숫자라 두 줄은 따로 읽어야 한다. NQ에서는 검색을 6%만 줄였고 정확도는 2.8%포인트 떨어졌다. 3단에서 4단 추론이 필요한 MuSiQue에서는 거의 모든 질문에 검색이 필요해, 강제 호출 기준선(-56%)이 Probe&Prefill(-48%)보다 더 줄였다. WHEN2TOOL에서 학습한 분류기를 재학습 없이 옮기면 AUROC가 0.67에서 0.80으로 내려갔다(원문 표 19)^[1]. 신호가 실제 질의응답으로 옮겨 가기는 하지만 통제된 벤치마크만큼 깨끗하지는 않다.

AI가 검색 없이 기억으로 답하면 브랜드는 학습 지식으로만 남는다

이 대목부터는 우리 해석이다. AI 검색이 웹을 찾을지 기억으로 답할지는 생성 전에 이미 기울어 있고, 기억으로 답하는 질문에서는 브랜드가 실시간 인용 대신 학습 지식으로만 답에 오른다. GEO와 SEO, AEO의 차이를 실시간 인용과 학습 지식 점유로 나눠 설명해 왔는데, 이 연구는 그 둘이 갈리는 지점이 모델 안의 "내가 이걸 아는가" 판단이라는 구조를 보여 준다.

두 가지 함의가 있다. 하나는 비용 압력이다. 논문의 출발점이 불필요한 호출이 쌓이는 API 비용과 지연이고, 이런 기법이 퍼질수록 에이전트와 AI 검색은 "안다"고 판단한 질문에서 웹을 덜 찾는다. 그러면 상식처럼 보이는 카테고리 질문일수록 새로 쓴 페이지가 끼어들 틈이 줄어든다. 다른 하나는 신제품이다. 모델이 모른다고 판단해야 검색이 일어나는데, AI가 이름은 알아도 신제품은 추천하지 않는다는 디스커버리 격차는 검색이 안 일어난 채 기억만으로 답할 때 생기는 일과 맞물린다. 반대로 검색이 일어난 뒤에는 AI가 질문을 여러 검색어로 쪼개는 방식과 에이전트가 실제로 던지는 검색어가 노출을 가른다.

이 연구가 못 본 것

방법에 걸린 제약이 분명하다. Probe&Prefill은 은닉 상태를 읽어야 해서 가중치가 공개된 모델에만 쓸 수 있고, API로만 쓰는 상용 모델에는 그대로 적용하지 못한다. 실험 모델도 Qwen3와 Llama 두 계열 6개뿐이고, 실제 검색 실험은 Qwen3-4B-Instruct 하나로만 돌렸다.

이름표 정의에도 한계가 있다. 도구 없이 맞히면 도구 불필요로 붙였는데, 이 기준은 정답이 고정된 질문에서만 성립한다. 학습 이후 바뀐 사실이나 새로 나온 제품처럼, 모델이 맞다고 믿지만 낡은 답을 내는 경우는 이 정의로 잡히지 않는다. 여기에 우리 의문을 하나 더하면, 상용 AI 검색이 검색 여부를 이런 내부 신호로 정하는지, 별도 라우터나 규칙으로 정하는지는 이 논문으로 알 수 없다.

측정은 출처가 붙은 답과 기억으로 한 답을 나눠서

실무로 옮기면 남는 것은 측정 단위다. 같은 질문이라도 AI 검색이 웹을 찾아 출처를 붙인 답과, 검색 없이 기억으로 한 답은 브랜드가 오르는 경로가 다르다. 앞의 답에서 안 보이면 페이지와 인용되는 콘텐츠를 손볼 일이고, 뒤의 답에서 안 보이면 학습 데이터에 쌓이는 언급과 평판이라는 더 긴 작업이 필요하다.

우리가 만드는 측정 도구는 비브랜드 질문을 엔진별로 반복해 물어 브랜드가 답에 오르는 비율을 기록한다. 이 연구를 읽고 나서 그 기록을 볼 때, 출처 링크가 붙은 응답과 붙지 않은 응답을 나눠 읽어야 한다는 의견을 남긴다. 검색 여부 자체가 실행마다 흔들릴 수 있으니, 한 번이 아닌 같은 조건의 반복 측정으로 그 비율부터 보는 게 순서다.