#llm

내가 굴리는 프로젝트를 LLM에 묶어 자가 개선 루프로 만들 수 있을지 정리하는 중인 현재 가설.

3-Tier Trust로 PR을 분류하고, 머지까지 검증 게이트(spec, TDD, RAG, HIL, 결정론적 분석기 등)를 거친다. 단계마다 잡는 결함 클래스가 다르다.

233개 임베디드 펌웨어 케이스에서 Sonnet 4.6은 68.0%, Haiku 4.5는 56.9%. 오픈소스 벤치마크 EmbedEval, 5단계 평가, n=3, Wilson 95% CI. Zephyr와 STM32 HAL 커버.

AI가 짠 펌웨어는 예측 가능한 nonlocal 패턴으로 실패한다. Diff에서 보이는 3가지, 49일 뒤에 터지는 3가지.

LLM에게 로깅 데몬을 짜게 했다. 컴파일 OK, 동작 OK. 코드 리뷰에서 eMMC를 죽이는 고빈도 write를 발견했다. 프롬프트에 말하지 않은 도메인 지식이 진짜 위험 구간이다.

AI 에이전트는 Yocto 레시피는 잘 쓰지만 센서 데이터를 조용히 깨뜨리고 SPI 레지스터를 잘못 설정합니다. 해법은 더 좋은 모델이 아닙니다. 컨텍스트 엔지니어링입니다.