AI가 짠 펌웨어: 내가 말하지 않은 것
주니어가 AI 도구로 짠 로깅 데몬이 내 리뷰를 통과했다. 컴파일도 되고 잘 돌았지만, 잦은 write가 결국 eMMC를 망가뜨렸다. 위험은 프롬프트에 말하지 않은 도메인 지식에 있었다.
LLM이 짠 임베디드 코드는 틀린 줄 모르게 틀린다. 무엇을 하라고 분명히 말해 주면 LLM은 대개 해낸다. 그런데 말로 하지 않은 도메인 지식이 필요해지는 순간, 맞히는 비율이 눈에 띄게 떨어진다. 흔히 쓰는 코딩 벤치마크는 이 차이를 잡지 못한다. 나는 이걸 내 리뷰를 통과해 현장에 나간 로깅 데몬 하나 때문에 알게 됐다.
eMMC를 조용히 죽이는 코드
i.MX8M Mini BSP 프로젝트에서 주니어 엔지니어의 코드를 리뷰하던 날이었다. CAN 메시지를 기록하는 데몬이었는데, AI 코딩 도구로 뽑은 코드라는 게 한눈에 보였다. 200줄이 넘는 코드에 시그널 처리, 데몬화, PID 파일 관리까지 빠진 게 없었다. 주니어가 혼자 이만큼 짜기는 어렵다. 핵심 루프만 옮겨 보면 이렇다.
/* AI가 생성한 CAN 로깅 데몬 (핵심 루프) */
#define DEFAULT_LOGFILE "/var/log/can.log"
#define LOG_FLUSH_INTERVAL 10 /* seconds */
FILE *fp = fopen(logfile, "a"); /* logfile = "/var/log/can.log" */
alarm(LOG_FLUSH_INTERVAL); /* 10초마다 SIGALRM으로 flush */
while (running) {
struct can_frame frame;
ssize_t nbytes = read(sock, &frame, sizeof(frame));
if (nbytes < 0) {
if (errno == EINTR) {
if (flush_flag) { fflush(fp); flush_flag = 0; alarm(LOG_FLUSH_INTERVAL); }
continue;
}
break;
}
log_frame(fp, iface, &frame, &ts);
if ((frame_count + err_count) % 1000 == 0)
fflush(fp); /* 1000프레임마다 flush */
}
잘 짠 코드였다. 프레임마다 fflush()를 부르지 않고, 10초 주기와 1000프레임 간격으로 모아서 내려 쓴다. 에러 처리도 있고, 시그널을 받으면 깔끔하게 멈춘다. 나는 “깔끔하네” 하고 approve를 눌렀다.
그때 보지 못한 것이 하나 있었다. 경로가 /var/log/can.log였다. 이 파일은 eMMC 위에 있다.
우리 시스템에는 CAN 메시지가 100ms마다 들어온다. 1000프레임을 모아 쓰면 대략 100초에 한 번 flush가 일어난다. 여기에 10초짜리 alarm까지 겹치면 eMMC에 쓰는 횟수가 하루 수천 번이 된다. 한 파일 끝에 계속 덧붙이는 방식은 wear leveling이 있어도 같은 블록 그룹에 쓰기가 몰린다. MLC나 TLC eMMC의 P/E cycle은 그렇게 조금씩 닳는다. 운이 나쁘면 eMMC가 읽기 전용으로 바뀌거나, 부팅 파티션까지 함께 망가진다. 이 데몬이 돌던 장비의 eMMC도 결국 망가졌다.
원인을 찾고 나니 고치는 방법은 단순했다. /var/log/ 대신 tmpfs에 쓰고, eMMC에는 정해진 주기로만 옮겨 담는다.
/* 수정: tmpfs 버퍼 + 주기적 eMMC flush */
#define DEFAULT_LOGFILE "/tmp/can_buffer.log" /* tmpfs (RAM) */
#define EMMC_FLUSH_INTERVAL 3600 /* 1시간마다 eMMC에 저장 */
이렇게 하면 하루 수천 번이던 쓰기가 24번으로 줄어든다. logrotate를 걸어 오래된 파일도 정리했다.
파일 I/O 자체에는 흠잡을 곳이 없었다. 시그널, 버퍼링, 에러 처리 모두 제품에 넣어도 될 수준이었다. 빠진 것은 이 코드가 eMMC 위에서 돈다는 사실이었다. 서버에서라면 완벽했을 코드가 임베디드 장비에서는 하드웨어를 갉아먹는다. AI 도구에게 “eMMC 수명을 생각하라”고 적어 준 사람은 없었다. 그러니 도구가 그걸 챙겼을 리 없다.
나를 더 오래 붙잡은 건 주니어도, 리뷰한 나도 그걸 몰랐다는 점이다. 주니어는 AI가 깔끔하게 짜 주었으니 맞으려니 했고, 나는 그 깔끔함을 보고 approve를 눌렀다. 걸러 줄 자리에 있던 내가 걸러 내지 못했고, 코드는 그대로 현장에 나갔다.
35%p: 벤치마크가 숨기는 격차
이게 로깅 하나만의 문제인지 궁금했다. 그래서 20개 카테고리에 카테고리마다 10개쯤, 임베디드 테스트 케이스를 만들어 두 가지 방식으로 돌려 봤다.
- Explicit: “volatile int flag를 선언하고, ISR에서 설정해라” — 대부분 pass
- Implicit: “ISR과 메인 스레드 간에 flag로 통신하라” (volatile 언급 없이) — 통과율이 눈에 띄게 떨어짐
내 테스트에서 둘의 차이는 35%p쯤이었다. 다만 검증이 regex 기반 heuristic이라 런타임까지 돌려 본 것은 아니고, 테스트 케이스도 Zephyr 쪽에 몰려 있다. 그래서 정확한 숫자에 큰 뜻을 두지는 않는다. 내가 본 것은 숫자보다 경향이다. 말해 준 프롬프트와 말하지 않은 프롬프트 사이에서 결과가 크게 갈라진다.
이 테스트는 나중에 컴파일과 런타임 레이어까지 붙은 233 케이스 벤치마크 EmbedEval로 자랐다. 거기서 Sonnet 4.6은 68.0%, Haiku 4.5는 56.9%를 받았다. 두 모델이 무너지는 곳은 거기서도 implicit 지식 카테고리였다.
HumanEval이나 SWE-bench 같은 코딩 벤치마크는 거의 모두 explicit 방식이다. “이 함수를 구현하라”고 정확히 짚어 준다. 하지만 임베디드에서 정말 어려운 것은 volatile, eMMC 수명, cleanup 순서, 타이밍 마진처럼 프롬프트에 적지 않는 것들이다. 이걸 재는 벤치마크는 거의 없다.
그래서 “LLM이 90%를 맞힌다”는 숫자를 볼 때마다 나는 이것부터 본다. 그 90%는 답이 이미 프롬프트 안에 들어 있던 90%인가, 아니면 도메인 지식을 스스로 꺼내 써야 했던 90%인가.
같은 격차가 논문에도 있다
이 차이는 내 테스트에서만 보이는 게 아니었다. EmbedAgent(2025, arXiv preprint)에서 LLM의 pass@1은 MicroPython(Raspberry Pi Pico)에서 73.8%였는데, ESP-IDF에서는 29.4%로 내려앉았다. MicroPython은 pin.value()처럼 API가 겉으로 다 드러나 있다. ESP-IDF는 그렇지 않다. esp_err_t 체크, component 시스템, menuconfig처럼 말하지 않아도 지켜야 하는 규칙이 깔려 있다. 결국 같은 implicit knowledge 문제다.
IoT-SkillsBench(2026)의 결과는 조금 더 아프다. LLM이 직접 만든 “도움말 컨텍스트”를 넣었더니 Zephyr 성능이 오히려 나빠졌다. 자기가 잘못 가정한 것을 스스로 굳힌 셈이다. 반대로 사람 전문가가 쓴 컨텍스트는 점수를 39/42까지 끌어올렸다. 컨텍스트라고 다 같지 않다. 아무거나 밀어 넣으면 해가 되고, 실패를 겪은 사람이 뽑아낸 정확한 컨텍스트만 효과가 있었다.
그래서 뭘 바꿨나
그 일 뒤로 프로젝트 설정 파일(CLAUDE.md)에 silent failure checklist를 만들었다.
## Silent Failure Checklist
- eMMC write -- 고빈도 write는 tmpfs 버퍼링 필수. 직접 fflush 금지
- 에러 경로 -- init 순서의 역순 cleanup을 거의 안 한다
- IRQ context -- blocking 호출(mutex, sleep)을 넣는다
- Device Tree -- pinctrl, clock 필수 속성을 빠뜨린다
- 타이밍 마진 -- 타임아웃 = 주기로 설정한다 (마진 0)
리뷰에서 하나가 걸릴 때마다 이 목록에 한 줄이 붙는다. 체크리스트를 넣고 3개월 동안 비슷한 코드를 수십 번 뽑았는데, 같은 종류의 실패는 다시 나오지 않았다. 데이터시트를 통째로 RAG에 넣는 것보다 이 5줄짜리 체크리스트가 나았다. 512페이지짜리 레퍼런스 매뉴얼에서 “eMMC write endurance 주의” 한 줄을 골라내는 일은 LLM이 하지 못한다. 하지만 체크리스트에 적힌 한 줄은 읽는다.
완벽하지는 않다. 나는 내가 아는 함정만 적을 수 있다. 모르는 함정은 여전히 그 격차 안에 숨어 있다. 그래도 함정이 하나씩 쌓이면서 CLAUDE.md는 말하지 않던 지식을 말로 바꿔 둔 문서가 되어 간다. 엔지니어의 경험이 두꺼울수록 이 파일도 두꺼워지고, LLM에게 맡겨도 되는 영역도 그만큼 넓어진다.
그래서 이제 LLM이 짠 임베디드 코드를 볼 때 나는 “여기서 내가 말하지 않은 게 뭐지?”부터 묻는다. 그 질문에 답이 떠오르지 않는 영역이라면, 그 코드는 아직 LLM에게 맡길 때가 아니다.
이 문제를 context engineering으로 푸는 구체적인 방법은 Context Engineering에서 따로 다뤘다.
댓글
댓글 불러오는 중...