← 에세이 /Post · 19 of 27 · Methods

AI가 짠 펌웨어: 233개 테스트로 격차를 재 보다

233개 임베디드 펌웨어 케이스에서 Sonnet 4.6은 68.0%, Haiku 4.5는 56.9%를 받았다. 직접 만든 오픈소스 벤치마크 EmbedEval로, 5단계 평가, n=3, Wilson 95% CI, Zephyr와 STM32 HAL을 다룬다.

·4 min read · · · #llm#firmware#benchmark#zephyr#llm-benchmark
AI가 짠 펌웨어: 233개 테스트로 격차를 재 보다
On this page

지난 두 글에서 나는 몇 가지 숫자를 꺼냈다. 35%p 격차, 그리고 DMA, ISR 실패 패턴이다. 그 숫자들은 모두 한 곳에서 나왔다. 임베디드 펌웨어용 LLM 벤치마크 EmbedEval을 내가 직접 만들어 돌린 결과다. 오늘 그 벤치마크를 통째로 공개한다.

리포지토리는 github.com/Ecro/embedeval이고, 라이선스는 Apache-2.0이다.

왜 또 다른 벤치마크인가

LLM 코딩 벤치마크는 이미 많다. HumanEval은 일반 Python 함수를, SWE-bench는 Python 리포 단위 이슈를, Aider Polyglot은 여러 언어에 걸친 편집을 잰다. 모두 쓸모 있는 벤치마크다. 그런데 임베디드 펌웨어를 다루는 것은 없다. 임베디드 쪽에는 EmbedAgent (ICSE’26)가 있어서 Arduino, MicroPython, Pico, ESP-IDF(ESP32)를 다룬다. 시리즈 1편에서 인용한 ESP-IDF 29.4%도 거기서 나온 숫자다. 하지만 프로덕션 임베디드의 나머지는 거기에 없다. Zephyr, STM32 HAL, FreeRTOS, 리눅스 커널 드라이버, Yocto는 아직 아무도 재지 않는다.

LLM에게 임베디드 코드를 맡길 때, 프롬프트에 안전 패턴을 안 적어주면 얼마나 무너지는가. 시리즈 1편에서 눈으로 본 그 격차를 숫자로 남겨 두고 싶었다.

무엇을 측정하는가

케이스는 233개다. 공개 185개에 비공개 held-out 48개를 더했다. held-out은 학습 데이터에 섞이지 않도록 별도 리포에 따로 두었다. 카테고리는 23개, 플랫폼은 6개다. 케이스 하나는 아래 파이프라인을 거친다.

EmbedEval 5단계 평가 파이프라인: L0 Static (패턴 매칭), L1 Compile (Docker SDK 빌드), L2 Runtime (QEMU/native_sim), L3 Heuristic (도메인 체크), L4 Mutation (L0/L3 체크 자체 검증). 어느 한 단계라도 실패하면 평가 중단

L0부터 L3까지는 짐작할 수 있는 단계다. 내가 가장 공을 들인 것은 L4다. L3가 regex 휴리스틱일 뿐이라는 지적은 맞는 말이고, 그래서 L4 mutation testing을 붙였다. 레퍼런스 코드에 일부러 버그를 심는다. volatile을 떼고, lock 순서를 뒤집고, 헤더를 뺀다. 그런 다음 L0/L3 체크가 그 버그를 잡아내는지 본다. 잡지 못한다면 LLM이 잘한 게 아니다. 체크 자체가 허술한 것이다. 그러니 L4가 재는 것은 결국 벤치마크 자체를 얼마나 믿을 수 있는가다.

기본 모드는 Docker 없이 L0와 L3만 돌린다. 가장 빠르고, 모델 사이를 가르기에도 이것으로 충분하다. L1/L2는 Docker SDK 빌드 환경이 깔려 있을 때만 돈다.

n=3 결과

Sonnet 4.6과 Haiku 4.5를 각각 3번씩 돌렸다. Wilson 95% 신뢰구간은 699회 시행을 합쳐서 계산했다.

Sonnet 4.6 vs Haiku 4.5 n=3 평균 pass@1 비교 막대그래프. Sonnet 68.0% [64.4, 71.3], Haiku 56.9% [53.2, 60.6]. CI가 겹치지 않음
모델pass@1 (n=3 평균)95% CI케이스 안정성
Sonnet 4.668.0%[64.4%, 71.3%]87%
Haiku 4.556.9%[53.2%, 60.6%]73%

두 CI는 겹치지 않는다. 두 모델 사이의 11.1%p 차이는 통계적으로 유의하다 (p < 0.05). 케이스 안정성은 “3번 다 같은 결과, 그러니까 다 통과거나 다 실패인 케이스의 비율”로 정했다. Sonnet은 233개 중 143개가 매번 통과했고 60개가 매번 실패했으며, 결과가 흔들린 케이스(flaky)는 30개뿐이었다. Haiku는 99 / 71 / 63이었다. n=3에서는 stable과 flaky의 경계가 흔들릴 수밖에 없어서, v0.2에서는 n=5로 올릴 생각이다.

어디서 약한가 (DMA, ISR, Threading)

카테고리별로 pass@1을 펼쳐 보면 패턴이 또렷하게 드러난다.

Implicit knowledge gap 막대그래프. Explicit prompt (안전 힌트 포함) 95%, Implicit prompt (도메인 지식 필요) 60%. 35%p 격차

선언적인 영역은 두 모델 모두 잘한다. device tree, Kconfig, boot 시퀀스는 90에서 100%를 받는다. 무너지는 영역은 늘 같았다. 아래 숫자는 pooled n=3 기준이다. 시리즈 2편은 초기 n=1 run을 인용했기 때문에, 카테고리별 절대값이 그때와 다르게 나온다. ISR처럼 모델 순위가 뒤집힌 곳도 있다. 9 TC에 n=3이라면 그 정도 뒤집힘은 변동 범위 안에 든다.

  • DMA 캐시 일관성: Sonnet 31% / Haiku 8%. 시리즈 2편에서 자세히 들여다본 바로 그 패턴이다.
  • ISR 동시성: Sonnet 23% / Haiku 38%. volatile, memory barrier, ISR-thread 공유 상태.
  • Threading: 두 모델 모두 33%. mutex 순서, 데드라인 처리.
  • 메모리 최적화: Sonnet 67% / Haiku 33%. memory domain, slab allocator.
  • Storage: Sonnet 54% / Haiku 31%. flash wear leveling, NVS 라이프사이클.

시리즈 1편에서 말한 implicit knowledge gap이 실제로 어떤 모습인지는 이 5개 영역이 보여 준다. 모두 함수 안만 들여다봐서는 보이지 않는 컨텍스트에 기대는 패턴이다. 데이터시트, 인터럽트 컨텍스트, 캐시 동작, 플래시 마모 특성 같은 것들이다. 시리즈 2편에서 6가지 패턴으로 분류한 것과도 거의 겹친다.

한계 (먼저)

벤치마크를 내놓으면서 무엇보다 먼저 적어 두고 싶은 것들이 있다.

우선 모델이 두 개뿐이다. Sonnet 4.6과 Haiku 4.5만 n=3으로 돌렸고, GPT, Gemini, DeepSeek, Qwen은 v0.2에서 다룬다. v0.1에서는 모델 수보다 통계적 신뢰성을 먼저 챙겼다. 모델을 늘리는 대신 같은 모델을 여러 번 돌려 CI를 좁히는 쪽을 골랐다. 다른 모델의 결과는 PR로 받을 수 있도록 contributing 워크플로우를 정리해 두었다.

Zephyr 쪽으로 많이 기울어 있기도 하다. 233개 중 대략 81%가 Zephyr이고, ESP-IDF, STM32 HAL, FreeRTOS, Linux driver, Yocto는 각각 5에서 10개 정도에 그친다. Zephyr가 native_sim과 Docker 빌드에 가장 잘 맞아서, L1/L2까지 돌릴 수 있는 케이스가 많았기 때문이다. v0.2에서 FreeRTOS와 Linux 드라이버 케이스를 늘릴 계획이다.

그 L1/L2도 절반만 돈다. 233개 중 대략 106개만 L1 컴파일과 L2 런타임을 거친다. 나머지는 하드웨어 보드 타겟(nrf52840dk 같은)이거나 ESP-IDF/STM32라서 native_sim에서 돌지 않고, 이 케이스들은 L0+L3로 잰다. 어느 케이스가 어느 쪽인지는 METHODOLOGY에 하나하나 적어 두었다.

범위도 단일 파일이다. 케이스 하나가 파일 하나라서, 헤더/소스 분리, CMakeLists, Kconfig 일관성 같은 멀티 파일 스캐폴딩은 재지 못한다. 이건 v0.3에서 다룰 일이다. LLM이 매일 하는 작업에서 큰 몫을 차지하는 부분인데, 그걸 재려면 검증 파이프라인을 처음부터 다시 짜야 한다.

그리고 L3는 결국 regex 휴리스틱이다. L4 mutation testing이 이걸 검증하긴 하지만 한계는 분명하다. 제대로 된 의미 분석은 L1+L2가 돌 때만 가능한데, 그런 케이스는 절반뿐이다.

벤치마크 로드맵

ROADMAP에 v0.2 / v0.3 / v1.0 계획을 적어 두었다. 모델 커버리지 확장, FreeRTOS 케이스 추가, HF Space 제출 플로우, 멀티파일 스캐폴딩, agent 모드 강화 순서다.

지금 가장 도움이 될 PR은 이런 것들이다.

  • API key가 있다면 새 모델을 n=3으로 돌려서 results/runs/<date>_<model>/에 결과를 PR로 보내 주면 좋겠다.
  • DMA, ISR, threading처럼 약한 카테고리에서 프로덕션 중에 겪은 실패 패턴이 있다면 케이스로 만들어 주는 것도 반갑다.
  • L3 체크의 false positive/negative를 본 적이 있다면 negatives.py에 추가해서 체크를 강화해 줄 수 있다.

Issue 템플릿은 세 개 만들어 두었다. model evaluation request, case contribution, methodology question이다. 비판은 언제든 반갑다.

이 시리즈에서 인용한 숫자가 어디서 나왔는지 궁금했다면, 이제 직접 돌려 볼 수 있다.


다음 글에서는 이 숫자를 보고 어디까지 LLM에게 맡길지를 정한다.

ecro
글쓴이 ecro

LLM 펌웨어 벤치마크를 만들었습니다. EmbedEval →

프로젝트에 맞는 Claude Code / Cursor / Codex 하네스를 생성하는 도구를 만듭니다. harness-maker →

에이전트와 같은 보드를 함께 다루는 시리얼, SSH 터미널을 만들고 있습니다. NeuroTerm →

댓글

댓글 불러오는 중...