← 에세이 /Post · 08 of 27 · Making

harness-maker: 사이드와 프로덕션

사이드 프로젝트와 프로덕션 프로젝트를 함께 진행하다 보니, 둘은 워크플로가 달라야 했다. 하네스는 대개 고정되어 있다. 그래서 프로젝트마다 하네스를 만들어 주는 도구를 만들었다.

·3 min read · · · #ai-agents#developer-tools#claude-code#harness-maker
harness-maker: 사이드와 프로덕션
On this page

나는 사이드 프로젝트와 프로덕션 프로젝트를 함께 진행한다. 한쪽에서는 작은 로그 도구를 짜고, 다른 쪽에서는 상용화를 준비하는 제품을 만든다. 두 곳 모두 AI 에이전트를 팀처럼 쓴다. 그런데 둘에 같은 셋업을 쓰려고 할 때마다 어딘가가 어긋났다.

고정된 하네스의 문제

공개된 AI 코딩 하네스는 대부분 고정되어 있다. 하네스도 워크플로도 정해진 그대로다. 어떤 레포에 붙이든 같은 리뷰어, 같은 게이트, 같은 흐름이 따라온다. 잘 만든 셋업 하나를 모두에게 나눠 주는 방식이다. 한 종류의 프로젝트만 한다면 그것으로 충분할 것이다.

문제는 성격이 다른 프로젝트를 여럿 맡고 있을 때 드러난다. 주말에 로그 파서를 빨리 짜고 싶은데 커밋마다 다섯 리뷰어가 붙고 SPEC을 요구하면 손이 멈춘다. 거꾸로 펌웨어 제품에 리뷰어가 하나만 걸려 있으면, 놓친 것은 배포된 뒤에야 보인다.

사이드와 프로덕션은 워크플로가 다르다

Side와 Production 하네스 비교. Side는 task 기반에 리뷰어 하나로 빠르게, Production은 spec 기반에 리뷰어 다섯으로 신뢰 있게.

어느 순간, 내 워크플로가 사이드 프로젝트에서와 프로덕션 프로젝트에서 달라야 한다는 걸 알게 됐다.

사이드 프로젝트에서 가장 중요한 것은 빠르게 만드는 일이다. 품질은 그다음이다. 아이디어를 빨리 굴려 보는 게 목적이니, 두꺼운 리뷰 절차는 여기서 걸림돌이 될 뿐이다. 리뷰어 다섯이 합의하기를 기다리고 있을 까닭이 없다.

프로덕션 프로젝트는 반대다. 빠른 개발보다 믿을 수 있는 품질이 먼저다. 한번 출시한 제품은 되돌리기 어렵다. 여기서는 게이트가 안전장치 노릇을 하고, 나에게는 그 게이트가 필요하다.

고정된 하네스 하나로는 이 둘을 함께 만족시킬 수 없었다. 사이드에 맞추면 프로덕션이 헐거워지고, 프로덕션에 맞추면 사이드가 지나치게 묶인다.

두 단계로도 부족하다

사이드와 프로덕션이라는 나눔조차 너무 거칠다. 프로젝트마다 바라는 수준도, 취향도 다르다.

작업 노트가 Obsidian에 저절로 쌓였으면 하는 프로젝트가 있다. 추가 리뷰를 codex나 antigravity 가운데 하나에게만 맡기고 싶은 프로젝트도 있다. worktree 격리를 쓸지 feature branch를 기본으로 둘지도 프로젝트마다 다르다.

이런 선택에는 하나로 정해진 답이 없다. 프로젝트의 리스크와 팀 구성에 따라 답이 달라진다. 고정된 묶음은 이 결정을 나 대신 미리 내려 버리는데, 그 결정은 대개 내 프로젝트와 맞지 않는 쪽이었다.

하나의 흐름, 여섯 단계

harness-maker가 내세우는 개발 흐름은 여섯 단계다. 연구에서 시작해 계획, 실행, 리뷰, 검증을 지나 마무리로 닫힌다. 각 단계는 자기 게이트를 통과해야 다음으로 넘어간다.

harness-maker 6단계 파이프라인: research, plan, execute, review, verify, wrapup. 프로덕션은 plan 앞에 SPEC 게이트를 추가한다.

프리셋이 정하는 것은 이 흐름의 어디에, 얼마나 세게 게이트를 거느냐다. 프로덕션에서는 계획 앞에 SPEC 게이트가 하나 더 들어가고, 여섯 단계를 모두 밟는다. 내가 임베디드 작업에서 돌리는 스펙 기반 루프가 바로 그것이다. 사이드는 그 게이트를 건너뛰고 가볍게 지나간다.

같은 도구, 다른 하네스

내 프로젝트 두 개를 나란히 놓으면 이 차이가 보인다. log_agent는 혼자 짜는 작은 Python 로그 도구라서 Side 프리셋을 골랐고, spoton은 상용화를 생각하는 프로젝트라서 Production 프리셋을 골랐다. 같은 사람이 같은 스택으로 만드는데도, harness.yaml이 서로 다른 질문에 답하자 워크플로가 이렇게 갈라졌다.

차원Side · log_agentProduction · spoton
dev_modetask-drivenspec-driven
에이전트 모델sonnetopus + sonnet
활성 리뷰어1개5개
리뷰 grade 임계BA
리뷰 라운드2회3회
worktree scope[execute][execute, plan]
교차 모델 리뷰없음있음 (codex 등)

이 가운데 손으로 맞춘 값은 하나도 없다. 프로젝트마다 한 번 답한 인터뷰에서 나온 값이고, 다시 렌더해도 같은 결과가 나온다. 로그 도구는 리뷰어 하나와 sonnet 하나로 빠르게 돌아간다. 상용 프로젝트는 추론 에이전트를 opus로 올리고, code·security·performance·ux·concurrency 다섯 리뷰어와 feature branch worktree, 그리고 codex·antigravity 교차 모델 리뷰까지 붙여 grade A로 묶어 둔다.

레포를 읽고, 그 구성을 지킨다

이 도구는 먼저 프로젝트를 읽는다. 스택과 CI 신호를 12가지 이상 살피고, 남은 것은 10차원 인터뷰로 정한 뒤, 그 프로젝트에 맞는 하네스를 내놓는다. 기본값을 몰래 깔지 않는다. 프로덕션 쪽에서는 리뷰어가 읽기 전용이라 코드를 직접 고치지 못하고, lint와 테스트 같은 기계 검사가 LLM 리뷰어보다 먼저, 토큰을 쓰기 전에 걸러 낸다. AI가 쓴 펌웨어 앞에 세웠던 검증 게이트와 같은 장치다. 사이드에서는 이 게이트를 얇게 줄이면 된다.

하네스는 프로젝트가 바뀌어 가도 제 구성을 지킨다. 에이전트든 CLAUDE.md든 손으로 고치면, @hm:user:* 마커가 그 수정을 다시 생성한 뒤에도 남겨 둔다. 메모리는 프로젝트마다의 패턴을 쌓고, 같은 실패가 되풀이되면 새 가드레일을 제안한다. 이 모든 것이 하나의 harness.yaml에서 Claude Code, Cursor, Codex용으로 각각 렌더된다.

인터뷰가 대신하는 일

정적 템플릿은 출발점만 준다. harness-maker는 내가 고친 것을 잃지 않으면서 업데이트된다. 나는 좋은 하네스가 모두에게 똑같이 주어지는 출발점이기보다, 각자의 프로젝트 안에서 자라는 것이라고 생각한다.

나는 개인용 마스터 셋업 하나를 관리하던 일을 그만뒀다. 사라진 것은 새 레포를 만들 때마다 되풀이하던 일이다. 지난 프로젝트의 CLAUDE.md를 복사해 와서, 맞지 않는 리뷰어와 게이트를 쳐내던 일. 지금은 그 일을 인터뷰가 맡는다.

도구는 github.com/Ecro/harness-maker에 있다. 렌더 증거 전체와 재현 방법은 showcase diff에 있다.

ecro
글쓴이 ecro

LLM 펌웨어 벤치마크를 만들었습니다. EmbedEval →

프로젝트에 맞는 Claude Code / Cursor / Codex 하네스를 생성하는 도구를 만듭니다. harness-maker →

에이전트와 같은 보드를 함께 다루는 시리얼, SSH 터미널을 만들고 있습니다. NeuroTerm →

댓글

댓글 불러오는 중...