2026년 초부터 oh-my-openagent(구 oh-my-opencode)를 시작으로 harness engineering에 대한 엄청난 유행이 있었다. 하지만 반년 만에 하네스 엔지니어링에서 루프 엔지니어링, 그리고 그래프 엔지니어링으로 유행이 넘어가면서 최근에는 하네스 엔지니어링이 아무 의미 없다는 말까지 나오고 있다.

논리는 단순하다. 하네스는 모델이 모자라서 이를 보완하기 위해 존재하는 것이니, 모델이 충분히 좋아지면 하네스 없이도 해결될 것이라는 거다.

어느 정도 동의하는 바이다. 그렇다면 지금 현시점에서 하네스는 과연 끝났을까?

하네스 유행을 돌아보며

1분기 회고를 쓸 때만 해도 나는 “Harness 추천”이라는 섹션을 따로 만들 정도로 하네스에 진심이었다. OMX를 써보고, Gstack이나 Superpowers 같은 skills를 붙이고, 어떤 하네스가 더 좋은지 비교하는 글을 찾아다녔다.

그런데 돌이켜 보면 그 시기에 내가 한 일의 상당 부분은 하네스를 위한 하네스를 만드는 일이었다. 프롬프트를 쪼개고, 에이전트끼리 역할을 나누고, 그걸 관리하는 설정 파일을 또 만들고. 정작 OMX는 토큰을 너무 많이 써서 그만뒀다.

2분기 회고에서 AI 에이전트에 대한 피로를 얘기했는데, 그 피로의 상당 부분이 여기서 왔던 것 같다. 새로운 하네스가 나올 때마다 설치하고, 설정하고, 결국 원래 쓰던 걸로 돌아오는 과정의 반복.

그러다 보니 “모델이 좋아지면 하네스는 필요 없다”는 말에 나도 고개를 끄덕이게 됐다.

GPT-6 Astra의 ARC-AGI-3 결과

얼마 전에 나온 GPT-6 Astra의 ARC-AGI-3 벤치마크 결과이다. 결과를 보면 알 수 있듯이 standard harness에서는 max reasoning으로도 62.7%가 최대지만, OpenAI가 제공한 하네스(Provider Adapter)를 붙이니 high reasoning만으로 99.9%의 성능을 보여주었다.

ReasoningStandardProvider Adapter
Max62.7%98.6%
XHigh59.3%98.4%
High54.8%99.9%
Medium38.6%98.4%
Low17.5%98.0%
None35.2%96.7%

물론 standard harness만으로도 전고점 대비 높은 성능이지만, 같은 모델, 같은 reasoning에서 하네스만 바꿨는데 점수가 크게 오른다. reasoning을 none으로 낮춰도 96.7%로, standard harness의 최고 점수인 62.7%를 크게 앞선다. 비용도 각 하네스의 최고 점수 설정끼리 비교하면 standard(max)가 $26,098, Provider Adapter(high)가 $18,817로 오히려 적다. 그리고 OpenAI는 standard harness 지표가 아닌 provided harness 지표를 앞세워 모델 성능을 보여주고 있다. 모델을 만드는 회사조차 하네스를 성능의 일부로 보고 있다는 뜻이다.

그런데 그 하네스는 뭘까?

여기서 흥미로운 건 두 하네스의 차이다.

  • Standard harness: 모델이 스스로 남기기로 한 노트를 환경 전체에 걸쳐 들고 다닌다.
  • Provider Adapter: 요청 사이에 모델의 추론 상태(opaque reasoning state)를 보존하고, 대화가 길어지면 compaction을 해서 이전 작업을 재사용할 수 있게 한다.

화려한 멀티 에이전트 구조도 아니고, 수십 개의 skills를 붙인 것도 아니다. 모델이 이전에 생각한 것을 잃어버리지 않게 해주는 것, 사실상 상태와 컨텍스트 관리에 가깝다.

올해 초에 유행하던 하네스는 대부분 모델이 못하는 걸 프롬프트와 구조로 메꾸는 방식이었다. 계획을 대신 세워주고, 검증 단계를 강제하고, 역할을 쪼갰다. 모델이 좋아질수록 이런 부분은 실제로 의미가 줄어들고 있다. 요즘 Codex나 Claude를 그냥 써도 알아서 계획을 세우고 검증까지 하니까.

반면 Provider Adapter 같은 하네스는 모델이 못하는 걸 대신 해주는 게 아니라, 모델이 잘하는 걸 끊기지 않게 해주는 것이다. 이건 모델이 좋아진다고 사라지는 종류의 하네스가 아니다. 오히려 모델이 좋아질수록 더 중요해질 수도 있다.

그래서 하네스는 끝났을까?

이러한 결과를 보았을 때 아직까지 하네스가 완전히 불필요한 것은 아니다. 여전히 하네스가 주는 힘은 강력하다.

다만 끝난 것이 있다면 모델의 부족함을 사람의 설계로 메꾸려던 하네스다. 이런 하네스는 모델이 한 세대 바뀔 때마다 쓸모가 줄어들고, 거기에 쏟은 시간은 대부분 매몰 비용이 된다. 그리고 그런 하네스를 만들기 위한 하네스 개발은 이제 줄일 필요가 있는 것 같다.

내가 지금 하네스를 고르거나 만들 때 보는 기준은 대략 이렇다.

  • 이 하네스는 모델이 못하는 걸 대신 해주는가, 모델이 잘하는 걸 이어지게 해주는가?
  • 다음 모델이 나오면 이 구조를 지워도 되는가?
  • 쓰는 토큰만큼 결과가 나아지는가?

첫 번째 질문에서 전자에 가깝고 두 번째 질문에 그렇다고 답할 수 있다면 아마 반년 안에 필요 없어질 가능성이 크다. 그렇다면 굳이 공들여 만들 필요 없이, 그냥 모델이 좋아지길 기다리는 것도 방법이다. 세 번째 질문은 더 단순하다. 쓰는 토큰만큼 결과가 나아지지 않으면 OMX처럼 그만두면 된다.

마치며

하네스 엔지니어링 → 루프 엔지니어링 → 그래프 엔지니어링. 반년 사이에 이름이 세 번 바뀌었지만, 결국 모두 모델 바깥에서 모델을 어떻게 돌릴 것인가에 대한 이야기다. 이름이 바뀐다고 그 질문이 사라지지는 않는다.

하네스의 시대가 끝났다기보다는, 하네스가 해야 할 일이 바뀌고 있다고 보는 게 맞는 것 같다. 모델을 보조하는 하네스에서, 모델이 맥락을 잃지 않게 해주는 하네스로.

그리고 다음 유행어가 나왔을 때도 ‘흠, 그렇네’ 하고 넘기기 전에, 이번처럼 실제 숫자를 한 번 보고 판단하려 한다.