← 에세이 /Post · 20 of 27 · Methods

AI가 짠 펌웨어: 함수 밖에서 깨지는 것

AI가 짠 펌웨어는 함수 하나만 봐서는 보이지 않는 곳에서 깨진다. diff에서 잡히는 3가지가 있고, 49일 뒤에야 드러나는 3가지가 있다.

·5 min read · · · #llm#embedded-dev#firmware#code-review#ai-agents
On this page

LLM이 만든 CAN 로거가 eMMC를 조용히 죽이고 있던 걸 잡은 뒤로, 나는 이런 실패를 하나씩 모으기 시작했다. Zephyr 3.6에 arm-none-eabi-gcc 12.2를 붙인 환경에서 Sonnet 4.6과 Haiku 4.5로 220개가 넘는 테스트 케이스를 돌렸다. 모든 모델이 똑같이 틀린 체크가 있었고, 그중 8개 중 6개가 두 카테고리에 몰려 있었다. 하나는 error handling(init 실패 시 cleanup 누락)이고, 다른 하나는 concurrency(ISR과 thread가 공유하는 상태)다.

아래 표는 이 글에서 다루는 6개 패턴의 실측 pass rate다.

패턴Sonnet 4.6Haiku 4.5근거
Error path cleanup둘 다 실패둘 다 실패동일 TC linux-driver-006 (n=1)
volatile + ISR33%22%isr-concurrency 카테고리 9 TC
DMA cache coherency44%0%dma 카테고리 9 TC, 벤치마크 최하위
Counter overflow~5%~5%공개 코드베이스에 과소 대표
Float NaN bypass~5%~5%공개 코드베이스에 과소 대표
Strict aliasing~10%~10%공개 코드에 잘못된 패턴이 다수

그런데 숫자보다 실패하는 방식이 더 눈에 들어왔다. 어떤 실패는 코드 diff에 그대로 드러난다. 무엇을 찾아야 할지만 알면 리뷰에서 잡힌다. 다른 실패는 그렇지 않다. 리뷰도 테스트도 통과하고, 몇 주에서 몇 달이 지나서야 모습을 드러낸다. 장치를 계속 켜 두었을 때, 혹은 -O0으로 짜서 -O2로 출하하는 순간에.

두 종류에는 공통점이 하나 있다. 둘 다 버그가 함수 밖에 있다. 그 함수 안에서는 보이지 않는다는 뜻이다. Error path cleanup을 보려면 init 단계를 가로지르는 리소스 그래프를 따라가야 한다. DMA cache coherency는 하드웨어가 CPU cache를 거치지 않는다는 사실을 알아야 보인다. 그 지식은 코드에는 없고 datasheet에 적혀 있다. Counter overflow는 2^32 밀리초에 이르는 uptime을 머릿속에 그려 봐야 잡힌다. 어느 것도 함수 하나의 scope 안에서는 드러나지 않는다.

LLM은 그 자리에서 읽기 좋은 코드를 잘 만든다. 그런데 임베디드 버그는 대부분 함수 밖에 있다. 이 어긋남이 explicit prompt(답이 지시에 들어 있는 경우)와 implicit prompt(도메인 지식을 추론해야 하는 경우) 사이의 35%p gap으로 벌어진다. 올바른 코드가 함수 밖의 컨텍스트에 달려 있어서 생기는 일이다.

Diff에서 잡히는 패턴

1. Error Path Cleanup

테스트한 모든 모델에서 가장 흔했던 실패다. 다단계 초기화에서 N단계가 실패하면 1단계부터 N-1단계까지의 자원을 역순으로 되돌려야 하는데, 모델은 그걸 빼먹는다.

/* Sonnet 4.6 output, prompt: "write sensor init for I2C + GPIO + DMA" */
int sensor_init(void) {
    i2c_init(&config);
    gpio_configure(SENSOR_PIN, GPIO_INPUT);
    dma_setup(&rx_channel);
    return 0;  /* what if gpio_configure() failed? i2c stays acquired */
}
/* goto cleanup 추가 후 */
int sensor_init(void) {
    int ret;

    ret = i2c_init(&config);
    if (ret < 0)
        return ret;

    ret = gpio_configure(SENSOR_PIN, GPIO_INPUT);
    if (ret < 0)
        goto err_gpio;

    ret = dma_setup(&rx_channel);
    if (ret < 0)
        goto err_dma;

    return 0;

err_dma:
    gpio_release(SENSOR_PIN);
err_gpio:
    i2c_deinit(&config);
    return ret;
}

가독성만 보면 첫 번째가 훨씬 깔끔하다. 하지만 그 코드는 모든 error path에서 I2C 버스 자원을 흘린다. 실패가 쌓이면 버스가 통째로 바닥난다.

Sonnet과 Haiku는 같은 테스트 케이스에서 나란히 이 패턴으로 넘어졌다. Zephyr 드라이버 init 시퀀스였고, 내부 태그로는 linux-driver-006이다. goto cleanup을 분명히 요청하면 준수율이 거의 100%까지 오른다. 짤 줄은 안다는 뜻이다. 시키지 않으면 짜지 않을 뿐이다.

Coverity의 resource-leak checker가 이걸 잡아 준다. 그 도구가 없어도 리뷰 규칙 하나면 된다. cleanup label이 없는 init 함수는 일단 의심하는 것이다. cppcheck --enable=warning도 일부를 걸러 내지만, path-sensitive 분석만큼 촘촘하지는 않다.

2. volatile과 ISR

ISR이 flag를 세우고 main loop이 그걸 읽는다. volatile이 빠지면 컴파일러는 -O2에서 그 읽기를 register에 캐시하고, 메모리를 다시 들여다보지 않는다.

int flag = 0;                /* Sonnet 4.6, prompt: "ISR sets flag, main reads" -- volatile 없음 */
volatile int flag = 0;       /* 키워드 하나가 전부 */

Debug 빌드에서는 잘 돈다. Release에서는 무한 루프에 빠진다. 둘을 가르는 건 키워드 하나다.

LLM은 ISR 안에 k_mutex_lock()이나 k_sleep()도 아무렇지 않게 넣는다. Zephyr에서 둘은 deadlock 아니면 crash로 끝난다. 컴파일러는 경고 한 줄 주지 않는다. 보드가 멈춘 다음에야 알게 된다.

처음 이걸 만났을 때 나는 mutex deadlock이라고 생각했고, lock ordering을 한참 뒤졌다. ISR 안에서 mutex를 쥐고 있으리라고는 생각하지 못했다. 그 뒤로 모든 locking wrapper에 k_is_in_isr() assertion을 넣어 두었더니 바로 걸린다. Plain C에는 이런 런타임 체크가 없어서, 결국 코드 리뷰에 기댈 수밖에 없다.

3. DMA Cache Coherency

CPU가 버퍼에 써 넣은 데이터를 DMA가 읽지 못한다. CPU는 cache에 쓰고, DMA 엔진은 main memory에서 읽기 때문이다. 에러도 경고도 없이 틀린 바이트가 그대로 나간다.

/* cache flush 없이 -- DMA는 main memory의 stale data를 읽는다 */
uint8_t tx_buf[256];
fill_buffer(tx_buf);
HAL_SPI_Transmit_DMA(&hspi1, tx_buf, 256);
/* STM32H7 (Cortex-M7, D-cache on): flush 후 DMA */
uint8_t __aligned(32) tx_buf[256];
fill_buffer(tx_buf);
SCB_CleanDCache_by_Addr((uint32_t *)tx_buf, 256);
HAL_SPI_Transmit_DMA(&hspi1, tx_buf, 256);

STM32H7 보드에서 SPI로 센서 값을 읽는데 데이터가 이따금 깨졌다. 처음에는 SPI 클럭 타이밍을 의심했다. 오실로스코프를 물려 봐도 파형은 멀쩡했다. 반나절을 헤맨 끝에 찾은 원인은 Rx 버퍼의 cache invalidate 누락이었다.

Data cache가 있는 MCU라면 모두 해당한다. Cortex-M7급, STM32F7/H7 같은 칩이다. 필요한 지식은 datasheet과 silicon errata에만 적혀 있다. 벤치마크에서 가장 낮은 카테고리였고, 한 모델은 cache coherency 체크에서 0점을 받았다.

여기에는 쓸 만한 자동화 도구가 사실상 없다. MPU로 DMA 버퍼 영역을 non-cacheable로 잡아 두거나, HAL의 DMA 래퍼가 cache 관리를 안에서 하는지 직접 확인하는 수밖에 없다.

시간이나 환경이 드러내는 패턴

아래 세 패턴은 grep으로 찾을 수 있다. 그런데 코드 리뷰에서는 “정상 동작하는 코드”로 보인다. Uptime이 쌓이거나, edge case 입력이 들어오거나, toolchain이 바뀌어야 비로소 문제가 터진다.

4. 49.7일 Counter Overflow

32비트 밀리초 카운터는 2^32 ms에서 0으로 돌아간다. 날짜로 치면 49.7일이다.

if (millis() > next_event) { /* handle event */ }

49.7일째에 millis()가 0으로 돌아간다. next_event는 여전히 큰 값이라 조건은 영원히 false다. 타이머는 다시 울리지 않는다.

/* Wrap-safe: unsigned subtraction handles overflow */
if ((uint32_t)(millis() - last_event) >= interval) { ... }

이건 실제로 출하된 제품에서 일어난 일이다. macOS가 32비트 카운터를 그대로 출하했다가, 50일 uptime을 넘긴 기기에서 네트워킹이 죽었다. Zephyr의 OpenThread 스택도 nRF52840에서 같은 부류의 버그를 냈다. 모든 기기가 정확히 49일째에 hang에 걸렸고, 이슈에는 “showstopper for commercial products” 태그가 붙었다.

잡는 방법은 허탈할 만큼 단순하다. rg 'millis\(\)\s*>' src/ 한 줄이면 된다.

$ rg 'millis\(\)\s*[><=]' --glob '*.c' | head -5
drivers/heartbeat.c:47:    if (millis() > next_beat) {
lib/ota/timeout.c:112:    while (millis() < deadline) {
app/sensor_poll.c:83:    if (millis() > sample_time) {

예시 출력이지만, 실제 프로젝트에서도 패턴은 똑같이 나온다. > 비교는 모두 뺄셈으로 바꾼다. < deadline도 같은 함정이다.

5. Float NaN이 Safety Check를 우회

0으로 나누는 순간, 안전을 위해 둔 비교가 통째로 힘을 잃는다.

float distance, elapsed_time;
/* ... */
float speed = distance / elapsed_time;
if (speed > MAX_SPEED) emergency_stop();

distance와 elapsed_time이 둘 다 0이면 0.0f / 0.0f은 NaN이다. NaN은 성질이 까다롭다. NaN이 끼어든 비교 연산은 모두 false를 돌려준다. NaN > MAX_SPEED? false. NaN < 0? false. NaN == NaN? 이것마저 false다. 그래서 emergency_stop()은 끝내 한 번도 불리지 않는다.

/* NaN/Inf guard (<math.h>) */
float speed = distance / elapsed_time;
if (isnan(speed) || isinf(speed)) {
    emergency_stop();
    return;
}
if (speed > MAX_SPEED) emergency_stop();

isinf()도 함께 걸어 둔다. distance만 0이 아니면 결과는 +-Inf가 되는데, +Inf > MAX_SPEED는 true라서 비상 정지는 걸린다(오작동이긴 해도). 문제는 -Inf > MAX_SPEED가 false라는 점이다. 이때도 NaN과 똑같은 우회가 생긴다.

테스트에 0과 음수를 일부러 넣어 보면(fault injection) 그 자리에서 드러난다. Safety-critical 경로라면 float 자체를 피하고 fixed-point로 가는 편이 더 근본적인 해결이다.

6. Strict Aliasing

타입이 다른 포인터로 메모리를 읽으면, 컴파일러가 그 읽기 자체를 없앨 수 있다.

struct sensor_reading *r = (struct sensor_reading *)buf;  /* UB -- 학습 데이터에 넘친다 */
struct sensor_reading r;
memcpy(&r, buf, sizeof(r));                               /* defined behavior */

-O0에서는 잘 돈다. -O2에서는 컴파일러가 “이 두 포인터가 같은 메모리를 가리킬 리 없다”고 가정하고(strict aliasing rule), buf를 통한 읽기를 건너뛴다. Struct에는 쓰레기 값이 남는다. buf가 struct의 정렬 요구까지 맞추지 못하면 Cortex-M0에서는 HardFault로 이어진다.

STM32F4 프로젝트에서 GCC를 10에서 12로 올렸더니 센서 드라이버가 깨졌다. 3년 동안 -O2로 멀쩡히 돌던 코드였다. TBAA 최적화가 더 공격적으로 바뀌면서 포인터 캐스트를 거친 읽기가 통째로 사라진 것이다. memcpy로 바꾸자 풀렸고, arm-none-eabi-objdump -d로 열어 보면 결국 같은 register move로 컴파일된다.

방어는 CI에서 한다. -fstrict-aliasing -Wstrict-aliasing=2를 켜고, UBSan으로 런타임까지 확인한다. 작은 MCU라면 전체 펌웨어 이미지 대신 호스트 유닛 테스트에서 UBSan을 돌리는 편이 현실적이다. 적어도 -O0과 -O2 빌드를 둘 다 통과시키는 것, 그게 마지노선이다.

학습이 보상하는 “깔끔함”의 함정

이 여섯 개 말고도 더 있다. eMMC wear(1편), sensor plausibility, radio stack corruption도 있다. 그렇다고 모델이 모든 걸 못하는 것은 아니다. Boilerplate, driver stub, state machine scaffolding, 단일 함수 로직은 오히려 잘 만든다. 실패는 도메인 지식을 말해 주지 않았을 때만 나타난다.

왜 하필 말해 주지 않은 것만 놓치는지 생각하다 보면 학습 데이터로 돌아가게 된다. LLM의 학습 데이터는 대부분 GitHub 오픈소스다. 거기서 별을 많이 받는 코드는 깔끔하고 간결한 코드다. volatile을 붙이면 “군더더기 수식어”처럼 보이고, goto를 쓰면 “나쁜 습관”으로 찍히고, error path마다 cleanup을 넣으면 “노이즈”로 읽힌다. RLHF도 같은 쪽으로 민다. 사람 평가자가 짧고 읽기 좋은 답에 높은 점수를 주기 때문이다. 그렇게 모델은 “깔끔한 코드”를 만드는 쪽으로 길들여진다. 그런데 임베디드에서 안전한 코드는 그다지 깔끔하지 않다. 학습이 주는 보상과 도메인이 요구하는 것이 서로 반대쪽을 가리키고 있다.

Reviewer Agent로 잡기

그래서 나는 코드 생성 직후에 이 패턴들을 자동으로 훑는 reviewer agent를 하나 둔다. Claude Code(또는 Cursor)의 hook이나 custom command로 firmware-safety-reviewer를 걸어 두면, LLM이 코드를 내놓을 때마다 같은 질문이 자동으로 따라붙는다. 질문은 이 글의 여섯 패턴 그대로다. error path에 reverse cleanup이 있나, ISR 공유 변수에 volatile이 붙었나, DMA 버퍼에 cache op이 있나, 32-bit counter가 wrap-safe한가, float 나눗셈 뒤에 NaN 가드가 있나, 포인터 캐스트 대신 memcpy를 썼나.

지식 자체는 LLM 안에 있다. 명시해서 시키면 ~95%를 맞힌다. 빠지는 건 그 지식을 적용하는 단계다. Reviewer는 생성할 때마다 그 적용을 끌어낸다.

AI가 짠 코드를 리뷰할 때 내가 먼저 묻는 것은 “컴파일 되나?”가 아니다. “이 코드가 제 함수 밖을 못 보면 뭘 놓치나?”다.

이 패턴들을 context engineering으로 아예 예방하는 방법은 Context Engineering 참고.


다음 편에서는 이 패턴들을 체계적으로 측정한 벤치마크를 공개한다. 233개 테스트 케이스와 5-layer 평가 파이프라인, 그리고 모델별 점수표가 들어간다.

ecro
글쓴이 ecro

LLM 펌웨어 벤치마크를 만들었습니다. EmbedEval →

프로젝트에 맞는 Claude Code / Cursor / Codex 하네스를 생성하는 도구를 만듭니다. harness-maker →

에이전트와 같은 보드를 함께 다루는 시리얼, SSH 터미널을 만들고 있습니다. NeuroTerm →

댓글

댓글 불러오는 중...