- LLM으로 내 소프트웨어를 계속 개선해 가려면 어떤 루프가 필요할까?
내가 굴리는 프로젝트를 LLM에 묶어 스스로 나아지는 루프로 만들 수 있을지, 생각하며 정리하고 있는 지금의 가설.
- AI가 짠 펌웨어: 어디까지 맡기고 어디서 막을까
3-Tier Trust로 PR을 나누고, 머지까지 검증 게이트(spec, TDD, RAG, HIL, 결정론적 분석기 등)를 거치게 했다. 단계마다 잡아내는 결함 클래스가 다르다.
- AI가 짠 펌웨어: 함수 밖에서 깨지는 것
AI가 짠 펌웨어는 함수 하나만 봐서는 보이지 않는 곳에서 깨진다. diff에서 잡히는 3가지가 있고, 49일 뒤에야 드러나는 3가지가 있다.
- AI가 짠 펌웨어: 내가 말하지 않은 것
주니어가 AI 도구로 짠 로깅 데몬이 내 리뷰를 통과했다. 컴파일도 되고 잘 돌았지만, 잦은 write가 결국 eMMC를 망가뜨렸다. 위험은 프롬프트에 말하지 않은 도메인 지식에 있었다.