AI가 짠 펌웨어: 어디까지 맡기고 어디서 막을까
3-Tier Trust로 PR을 나누고, 머지까지 검증 게이트(spec, TDD, RAG, HIL, 결정론적 분석기 등)를 거치게 했다. 단계마다 잡아내는 결함 클래스가 다르다.
3편 벤치마크 포스트를 올리자 곧바로 “그래서 어떻게 하라는 거냐”는 물음이 돌아왔다. 답은 카테고리마다 다르다. EmbedEval n=3 데이터로 보면 LLM 출력은 세 갈래로 갈린다. 단독 승인 가능, 리뷰 필수, 그리고 사람이 처음부터 쓰는 영역. 내가 흥미롭게 본 것은 이 경계가 토큰을 아무리 많이 써도 움직이지 않는다는 점이다. 데이터시트와 보드 식별 정보가 애초에 모델의 context 밖에 있기 때문이다.
3-Tier Trust
| Tier | 카테고리 | Sonnet | Haiku | PR 규칙 |
|---|---|---|---|---|
| 1. 단독 승인 가능 | device-tree, pwm, boot, kconfig | 90% 이상 | 90% 이상 | syntax 리뷰 후 머지 |
| 2. 전문가 리뷰 필수 | gpio, linux-driver, yocto, ota, power-mgmt, spi-i2c, ble | 67%에서 90% | 45%에서 83% | error path + 사이드이펙트 확인 |
| 3. 전문가가 처음부터 쓴다 | DMA, ISR, threading, storage | 55% 미만 | 55% 미만 | LLM draft는 참고만 |
수치는 3편의 n=3 측정값(233 TCs)에서 가져왔다. 임계는 단순하게 정했다. 두 모델 다 60% 미만이고 n=3 안정도가 80% 미만이면 Tier 3다. 60%와 80%로 잡은 것은 “사람이 처음부터 쓰는 시간 ≤ LLM 초안을 다듬어 통과시키는 시간”이라는 부등식이 거기서 깨졌기 때문이다. 다음 모델 세대가 나오면 다시 재 봐야 할 값이다.
1편에서 eMMC를 죽인 CAN 로깅 데몬은 Tier 3 storage(flash wear leveling, NVS 라이프사이클)에 속한다. 2편에서 추린 6가지 failure pattern도 다르지 않다. ISR(volatile), DMA cache coherency, error path cleanup처럼 거의 모두 Tier 3 근처에 모여 있다. 3편이 그 경계를 숫자로 찍었다면, 이 글은 그 숫자를 팀이 지킬 운영 규칙으로 옮겨 보려는 것이다.
토큰을 더 써도 안 움직이는 이유
일반 소프트웨어라면 토큰을 더 쓸수록 품질이 로그 곡선을 따라 올라간다. 임베디드에서는 어느 지점부터 곡선이 평평해진다. 평평해지는 자리들에는 공통점이 있다. 데이터시트, 레퍼런스 매뉴얼, 실시간 타이밍, 그리고 “지금 내가 어느 보드 위에 있는지”. 모두 context에서 빠져 있는 것들이다.
EmbedAgent(ICSE 2026)의 측정에서 datasheet RAG는 ESP-IDF를 29.4%에서 65.1%로 끌어올렸다. 35.7%p를 되찾은 셈이다. 다만 내가 이 숫자에서 읽는 것은 context engineering이 ceiling을 올려 준다는 사실까지다. ceiling이 사라진다는 뜻은 아니다. RAG로 데이터시트 페이지를 통째로 넣어도 “내 보드는 i.MX8M Mini의 어느 마스크 셋이고 SDMA 채널 N이 어느 PHY에 묶여 있다” 같은 사실까지 저절로 넘어가지는 않는다.
Tier 3가 회색이 아니라 빨간색
DMA 카테고리는 Sonnet 31%, Haiku 8%였다(3편 n=3).
i.MX8M Mini SDMA 버퍼를 Linux dma_alloc_coherent API를 쓰지 않고 kmalloc()으로 잡아 넘기면, A53 L1 캐시에 머물러 있는 데이터를 SDMA가 보지 못한다. i.MX8M Mini 레퍼런스 매뉴얼에는 SDMA가 Cortex-A53 캐시 코히런시 도메인 밖에 있다고 분명히 적혀 있다. 고치는 데는 한 줄이면 된다.
/* SDMA on i.MX8M Mini is outside the A53 cache coherency domain.
* Use coherent allocation instead of kmalloc.
* dev = &pdev->dev (struct device *) from platform_driver probe.
* dma_handle: dma_addr_t, dma_buf: void *. */
dma_buf = dma_alloc_coherent(dev, DMA_BUF_SIZE, &dma_handle, GFP_KERNEL);
LLM이 이 한 줄을 쓰지 못하는 데는 두 가지 이유가 있다. 레퍼런스 매뉴얼의 그 페이지가 context에 없고, “내가 i.MX8M Mini 위에 있다”는 사실부터가 프롬프트 밖에 있다. 이터레이션을 아무리 돌려도 모르는 상태가 되풀이될 뿐이다. 리뷰 쪽에도 같은 문제가 있다. LLM 출력에 dma_alloc_coherent 대신 kmalloc이 들어 있을 때 “이건 안 된다”고 짚으려면, 리뷰어가 non-coherent SDMA가 있다는 걸 이미 알고 있어야 한다. 리뷰어가 답을 모르면 리뷰는 rubber stamp가 된다. 1편의 eMMC 고장이 바로 그런 경우였다. 주니어가 LLM이 짠 로깅 데몬을 머지했고, 리뷰 라인 어디에도 write amplification을 의심한 사람이 없었다.
막는 법
가장 먼저 하는 일은 CODEOWNERS로 자동 머지를 막는 것이다. .github/CODEOWNERS나 브랜치 보호 규칙에 Tier 3 디렉터리를 적어 둔다.
# Tier 3: expert review mandatory, no LLM auto-merge
drivers/dma/ @firmware-leads
kernel/threading/ @firmware-leads
drivers/storage/ @firmware-leads
모델은 Tier 2에만 Sonnet을 쓴다. Sonnet 68%와 Haiku 57%, 이 11점 차이가 값을 하는 곳은 Tier 2뿐이다. Tier 1은 Haiku로 충분하고, Tier 3는 Sonnet을 붙여도 어차피 사람이 처음부터 쓴다. 그래서 Sonnet 호출을 Tier 2 PR로만 보내면 비용이 눈에 띄게 줄어든다. 정확한 절감률은 팀마다 다른 Tier 분포(PR 수, 토큰량)에 달려 있다.
Tier 2 리뷰에서는 error path와 사이드이펙트만 본다. LLM이 작업 시간을 반으로 줄여 주는 구간이지만, 비어 있는 곳이 딱 두 군데 있기 때문이다. 하나는 error path 분기와 역순 자원 정리이다. 다른 하나는 recipe·DTS·Kconfig 변경이 일으키는 사이드이펙트다. 두 번째 것에는 우리 팀도 한 번 당했다. Yocto recipe 하나를 바꿨는데 그게 kernel DTB를 건드렸고, 부팅 후 SPI flash 쓰기 지연이 50ms에서 800ms로 뛰었다. recipe diff만 들여다보는 리뷰로는 이런 일을 잡을 수 없다.
그리고 이 경계는 가만히 있지 않는다. 6주쯤 운영하면 절반이 넘게 재분류된다. BLE GATT는 타이밍 민감도가 드러나면서 Tier 2에서 Tier 3로 올라갔고, i2c bring-up은 datasheet RAG를 붙인 뒤 Tier 3에서 Tier 2로 내려왔다. 그러니 이 분류표는 한 번 정해 두고 끝낼 수 있는 것이 아니다. 분기마다 다시 재야 하는 운영의 결과물이다.
머지까지 검증 게이트, 세 층
여기까지는 더 큰 파이프라인의 일부다. Tier 3까지 통과해 머지되는 코드는 단계마다 서로 다른 결함 클래스를 잡는 검증 게이트를 지난다. 크게 보면 세 층이다. Implicit Context(생성 시점에 사실 주입), Review(머지 전 정적 검증), Test(실행 검증).
첫 층인 Implicit Context는 생성하는 바로 그 순간에 사실(facts)을 LLM 컨텍스트에 넣는 일이다. 하나는 Spec 기반 생성이다. 요구사항을 먼저 contract YAML로 정해 두고, LLM과 reviewer가 같은 contract를 본다. 다른 하나는 Datasheet RAG 주입이다. 보드 reference manual, errata, SDK 예제를 chunk로 나눠 생성 시점의 context로 넣는다. EmbedAgent ICSE 2026의 +35.7%p 회복이 이 층을 뒷받침하는 정량 데이터다.
Review 층에서는 생성된 코드를 머지하기 전에 정적으로 검증한다. Multi-agent 리뷰는 한 모델의 출력을 다른 모델, 다른 prompt로 교차 확인하는 방식이다. 단일 모델의 stability(3편 n=3 기준 Sonnet 87%, Haiku 73%)에 기대지 않으려는 것이다. 그 옆에 룰 기반 패턴 검출인 정적 분석이 선다. volatile 누락, ISR blocking, error path cleanup, 49일 wrap처럼 grep으로 잡히는 안티패턴을 찾는다.
정적 분석이 놓치는 것은 결정론적 분석기가 받는다. 보드, errata, contract, requirement를 git에 YAML 사실 파일로 두고, LLM 생성 시점과 CI 게이트에 같은 사실을 넣는다. 보드 컨텍스트가 없어 정적 분석이 놓치던 결함이 여기서 걸린다. eMMC wear 누적 패턴, 보드별 contract 위반, “이 카운터가 32-bit이라 wrap 난다” 같은, 보드 사실에 기반한 검증이 그런 예다. 이 층이 제대로 붙으면 SDMA 같은 카테고리도 Tier 2로 내려온다.
Review 층의 마지막 게이트는 휴먼 전문가 리뷰다. 앞의 자동 단계를 깔아 두면 전문가의 시간이 시스템 레벨 판단(아키텍처 적합성, 새로운 결함, 도메인 트레이드오프)으로 모인다.
Test 층은 실행해서 동작을 검증한다. TDD로 테스트 케이스를 코드보다 먼저 쓰면, LLM이 환각으로 메우는 자리가 그만큼 줄어든다. On-board 테스트는 실 보드 1대를 CI에 물린 HIL이다. QEMU가 보지 못하는 DMA 캐시 일관성, 인터럽트 latency, 클락 지터를 여기서 잡는다.
단계별 도구 선택, 층마다 얼마나 깊이 넣을지, 층 사이의 정보 흐름은 다음 편에서 따로 다룬다.
한계
3-Tier Trust는 결국 분류일 뿐이다. 분류만으로는 결함을 잡지 못한다. 위의 검증 게이트와 함께 돌아가야 한다. Board Profile, datasheet RAG, HIL farm 같은 context engineering 영역이 이 게이트들을 받치는 인프라다.
EmbedEval은 약 81%가 Zephyr다. ESP-IDF나 STM32 HAL로 가면 Tier 경계가 달라질 수 있다. 자기 플랫폼의 숫자는 결국 각자 재야 한다.
전문가가 없는 팀에게 Tier 분류는 해법이 되지 못한다. Tier 3에서 처음부터 쓸 사람이 없으면 LLM 출력을 가려낼 수조차 없기 때문이다. 그런 팀에서 LLM을 들이면 늘어나는 것은 생산성보다 위험이다. 1편의 eMMC 고장이 그 증거다. Tier 분류는 그 사고를 막지 못했고, 일이 지난 뒤에 라벨을 붙였을 뿐이다.
정리
i.MX8M의 SDMA 수정은 dma_alloc_coherent() 한 줄이다. 그런데 그 한 줄을 써야 한다는 판단은 레퍼런스 매뉴얼과 오실로스코프에서 나왔다. 토큰에서 나온 것이 아니다.
댓글
댓글 불러오는 중...