← 에세이 /Post · 25 of 27 · Methods

임베디드에서 AI Agents: 미뤄 왔던 스펙 기반 TDD

임베디드 팀이 TDD를 건너뛴 건 비용 때문이었다. AI 에이전트와 일하며 그 계산이 달라지는 걸 봤다. Yocto 위 IMU 드라이버를 스펙 기반 테스트와 JSON 피드백으로 검증한 기록.

·8 min read · · · #embedded-linux#ai-agents#testing#developer-workflow#yocto
임베디드에서 AI Agents: 미뤄 왔던 스펙 기반 TDD
On this page

Raspberry Pi 4에 올린 IMU 센서 드라이버를 Claude Code에게 테스트해 달라고 맡긴 적이 있다. 에이전트는 ssh pi lsmod | grep imu를 돌리고, 이어서 ssh pi cat /sys/class/imu0/data, 그다음 ssh pi dmesg | tail -30을 돌렸다. 도구 호출 세 번에 15초. 그러고는 lsmod에 모듈이 보이고 /sys/class/imu0/data가 숫자를 돌려준다는 이유로 “드라이버 정상”이라고 했다.

그 숫자는 쓸 수 없는 값이었다. 캐시 동기화가 빠져 있어서 DMA 전송이 세 번째 샘플마다 데이터를 깨뜨리고 있었다. dmesg에는 그 흔적이 다 남아 있었다. 정상 로그 사이사이에 Unhandled fault가 드문드문 끼어 있었다. 에이전트는 마지막 30줄만 읽었고, 하필 그 구간이 깨끗했다.

2026년 3월, AI와 함께하는 임베디드 리눅스 개발은 대략 이런 자리에 있었다. 도구는 잘 돈다. 워크플로가 안 돈다.

나는 그 답이 TDD라고 생각한다. 임베디드 팀도 이걸 오래전부터 알고 있었다. 다만 타겟 하드웨어에서 테스트를 짜고 돌리는 비용이 너무 커서 건너뛰었을 뿐이다. 크로스 컴파일하고, 배포하고, SSH로 들어가고, 로그를 보고, 다시 처음으로. 에이전트가 들어오면서 이 계산이 달라졌다. 에이전트는 스펙에서 테스트를 뽑고, 구조화된 래퍼로 돌리고, 사람이 손대지 않아도 실패를 끝까지 붙들고 고친다. 새 방법론이 나온 게 아니다. 값이 싸졌을 뿐이다.

이 시리즈의 예제는 모두 Anthropic의 에이전트 코딩 도구인 Claude Code로 돌렸다. 스펙 기반 테스팅, 구조화된 피드백, 컨텍스트 엔지니어링 같은 워크플로 원칙은 다른 AI 코딩 에이전트에도 그대로 옮겨 갈 수 있다. 다만 CLAUDE.md, 서브에이전트 오케스트레이션, /clear는 Claude Code에만 있는 것들이다.

깨진 내부 루프

임베디드 드라이버 개발의 깨진 내부 루프: Edit Code, Cross-Compile+Deploy, SSH+Load Module, Read dmesg+Interpret의 4단계 순환. AI는 Edit 단계만 가속하고, deploy-test-interpret의 수동 병목은 반복당 2-3분, 10-20회 반복으로 기능당 30-60분 소요.

RunSafe Security 설문(2026년 1월 발행, 2025년 채택 현황 조사)에 따르면 임베디드 팀의 80% 이상이 이미 AI 도구를 쓰고 있고, 83%는 AI가 짠 코드를 프로덕션에 올려 본 적이 있다. 이 숫자는 조금 걸러서 읽는 편이 맞다. 응답자가 얼리 어답터 쪽으로 쏠려 있기 때문이다. 그래도 방향은 분명하다. 채택은 거의 끝났다. 남은 물음은 사람들이 이 도구로 무엇을 하느냐다.

대부분은 AI가 내놓은 코드를 2015년과 똑같은 편집-컴파일-scp-ssh-테스트 사이클에 붙여 넣는다. 에이전트 덕에 코드는 더 빨리 나온다. 그런데 병목은 “코드 다 짰다”와 “코드 검증 끝났다” 사이에 놓인 배포-테스트-해석 사이클이다. Yocto scarthgap 이미지를 올린 Raspberry Pi 4에서 크로스 컴파일, scp, insmod, dmesg 확인까지 한 바퀴를 도는 데 적어도 2분에서 3분이 든다. 드라이버 기능 하나에 이걸 10번에서 20번 되풀이한다. 그러면 기능 하나에 30분에서 60분이 커널 모듈을 올리고, dmesg를 읽고, printk를 넣고, 다시 배포하는 데 쓰인다. 그 시간의 대부분은 그저 기다리면서 터미널 출력을 들여다보는 시간이다.

피드백 루프 개선

스펙 기반 피드백 루프: 6개 수락 기준이 담긴 spec.md가 LLM 에이전트에 입력되어 테스트를 생성하고, 단일 래퍼 스크립트가 host-target 경계를 넘어 실행되어 4초 만에 구조화된 JSON 결과를 반환. Before/After 비교에서 30-60분이 3-8분으로 단축, 약 8배 속도 향상.

임베디드 리눅스 프로젝트(Yocto BSP, 커널 모듈, SPI/I2C 센서 드라이버)에서 6개월 동안 Claude Code를 써 보니, 차이를 만든 것은 결국 구조를 바꾼 두 가지였다. 에이전트가 실제로 쓸 수 있는 피드백 통로를 깔아 준 것, 그게 전부였다.

스펙부터 썼다

에이전트가 코드를 짜기 전에, 테스트할 수 있는 인수 기준을 담은 spec.md를 먼저 쓰게 한다. 효과가 가장 컸던 변화다.

스펙이 없으면 에이전트는 정상 경로만 확인한다. “모듈이 올라가나?”, “sysfs에서 읽히나?”를 보고 끝낸다. IMU 드라이버가 1kHz 샘플링을 1% 오차 안에서 유지해야 한다는 것, 10,000회 연속 DMA 전송 뒤에도 데이터가 깨지지 않아야 한다는 것, 1시간을 돌린 뒤에도 RSS가 2MB 밑이어야 한다는 것. 에이전트가 이런 걸 알 길은 없다.

IDCriterionMetric
AC-1샘플링 레이트 1kHz, 1% 이내 오차초당 샘플 수
AC-210K DMA 전송 후 데이터 무결성CRC32 일치율
AC-31시간 가동 후 RSS 메모리 < 2MBps RSS 측정
AC-4SPI 버스 에러 후 3초 이내 복구장애 주입 + 타이머
AC-5IRQ-to-userspace 레이턴시 < 500us타임스탬프 차이
AC-6CPU 스트레스 상황에서 데이터 손실 없음stress-ng + 샘플 수

Chalmers/University of Gothenburg 연구는 이와 맞닿은 개념을 “AI-Friendly Artifacts”라고 부른다. AI 도구가 안정적으로 파싱할 수 있는 구조화된 문서를 뜻한다. 위 스펙 테이블이 그 연구에서 나온 것은 아니다. 그래도 바탕에 깔린 직관은 같다. 에이전트에 구조화된 입력을 주면 구조화된 행동이 돌아온다. 실제로 에이전트는 인수 기준 하나마다 테스트 함수 하나를 만들고, 결과가 스펙과 1:1로 맞물린다. 커버리지를 추적할 수 있고, 빈 곳이 눈에 보인다.

스펙에는 코드만 봐서는 에이전트가 알아낼 수 없는 하드웨어 고유의 제약도 들어간다. 샘플링 허용 오차, 레이턴시 예산, 메모리 상한, 장애가 났을 때의 복구 동작 같은 것들이다. 이게 문서에 없으면 에이전트는 웹 개발자가 짤 법한 테스트를 뽑는다. 돌아가기는 하지만, 타겟 디바이스에서 정말 중요한 제약은 보지 못한다.

테스트 결과를 구조화해서 받았다

그때그때 날리던 SSH 명령을, 배포와 테스트와 JSON 반환을 한 번에 처리하는 단일 명령 래퍼로 바꾼다. N번 오가던 것이 한 번으로 줄어든다.

L1 (대부분 여기 있다): 에이전트가 SSH 명령을 하나씩 보낸다. ssh target lsmod, ssh target cat /sys/class/imu0/data, ssh target dmesg | tail. 호출 한 번에 3초에서 5초가 걸린다. 에이전트는 구조 없는 터미널 출력을 어림으로 해석한다. 나도 처음에는 이렇게 시작했고, 앞에서 말한 DMA corruption 버그가 안 잡힌 것도 바로 이 때문이었다.

L2 (호스트에 pytest가 있고 타겟에 SSH로 접근할 수 있다면 오후 반나절이면 된다): scp, insmod, pytest를 한 번에 돌리고 구조화된 JSON을 내놓는 래퍼 스크립트다. 에이전트는 로그를 보고 짐작하는 대신 pass/fail 결과를 그대로 읽는다. labgrid를 처음부터 세운다면 inventory.yaml, SSH 키 설정, Yocto 패키지 구성에 하루쯤이 더 든다.

L3 (성숙한 프로젝트에 하는 투자): 타겟에 상주하는 테스트 데몬을 둔다. 에이전트가 POST 요청을 보내면 JSON이 돌아온다. 셋 중 가장 빠르다. 대신 타겟 쪽 인프라를 계속 돌봐야 한다.

아래는 Yocto 기반 Pi 4에서 IMU 센서 드라이버에 쓰는 L2 래퍼다. labgrid(Pengutronix가 만들었다)가 타겟 추상화를 맡고, pytest-json-report(pip install pytest-json-report)가 기계가 읽을 수 있는 출력을 만든다.

#!/bin/bash
set -euo pipefail

MODULE_PATH="${1:?Usage: $0 <module-path>}"
TARGET="${TARGET_HOST:-192.168.1.100}"
TEST_DIR="$(dirname "$0")/tests"
REPORT_FILE=$(mktemp /tmp/test-report-XXXXXX.json)

# 1. Deploy module
scp -q "$MODULE_PATH" "root@${TARGET}:/lib/modules/$(ssh root@${TARGET} uname -r)/extra/"
ssh -q "root@${TARGET}" "depmod -a && modprobe -r imu_sensor 2>/dev/null; modprobe imu_sensor"

# 2. Run tests on host -- labgrid reaches the target via SSH
cd "$TEST_DIR"
pytest --lg-env ../inventory.yaml \
       --json-report --json-report-file="$REPORT_FILE" \
       -q 2>/dev/null || true

cat "$REPORT_FILE"
rm -f "$REPORT_FILE"

|| true는 테스트가 실패해도 스크립트가 멈추지 않고 JSON 리포트까지 쓰게 한다. 인프라 쪽이 터지면(pytest 크래시, labgrid 설정 누락, 타겟 연결 불가) 빈 리포트나 엉뚱한 리포트가 남을 수 있다. 프로덕션에서 쓸 거라면 리포트 파일이 비어 있지 않은지 확인하고 stderr를 로그로 남겨 두는 게 좋다.

에이전트가 ./run_target_tests.sh build/imu_sensor.ko를 부르면 구조화된 JSON이 돌아온다(여기서는 줄였다. 실제 pytest-json-report는 에러 상세를 call 스테이지 객체 안에 중첩해 둔다).

{
  "created": 1773628800,
  "duration": 4.2,
  "exitcode": 1,
  "summary": {"passed": 4, "failed": 2, "total": 6},
  "tests": [
    {"nodeid": "test_imu::test_module_loads", "outcome": "passed"},
    {"nodeid": "test_imu::test_sysfs_readable", "outcome": "passed"},
    {"nodeid": "test_imu::test_sampling_rate_1khz", "outcome": "passed"},
    {"nodeid": "test_imu::test_dma_data_integrity", "outcome": "failed",
     "longrepr": "AssertionError: CRC mismatch in 847 of 10000 transfers (91.5% pass, need 100%)"},
    {"nodeid": "test_imu::test_memory_soak", "outcome": "passed"},
    {"nodeid": "test_imu::test_irq_latency", "outcome": "failed",
     "longrepr": "AssertionError: p99 latency 1.2ms exceeds 500us limit"}
  ]
}

왕복 한 번, 4초 만에 구조화된 pass/fail이 돌아온다. 무엇이 왜 실패했는지 에이전트가 바로 안다.

맨 앞의 DMA 데이터 손상 버그는 AC-2가 첫 실행에서 잡았다. 에이전트가 빠져 있던 dma_sync_single_for_cpu() 호출을 넣고 다시 돌렸다. 버그를 찾고 고치기까지 3분이 걸리지 않았다. The Embedded Kit은 DUT 10대에 Pluma 도구를 물려 비슷한 Yocto 테스트 자동화 인프라를 공개했다. 나는 이걸 이 방식이 프로덕션 CI까지 커질 수 있다는 증거로 읽는다.

예전의 전형적인 오전은 이랬다. 30분 동안 드라이버 코드를 쓰고, 크로스 컴파일하고, Pi로 .ko를 scp하고, ssh로 들어가 rmmod와 insmod를 하고, sysfs를 cat하다가 문제를 발견하면 printk를 넣고, 다시 컴파일하고, 또 scp하고, insmod하고, dmesg를 본다. 점심때까지 편집-테스트 사이클을 3번쯤 돌리면 기능 하나의 정상 경로만 겨우 덮었다. 엣지 케이스도, 장애 주입도 없었다. 품질 기준이라고는 “보드에서 로드된다” 하나뿐이었다.

지금은 처음 30분에서 40분은 spec.md를 쓰거나 고치는 데 쓴다. 바로 코드로 들어가는 것보다 느리고, 처음 몇 번은 헛수고처럼 느껴진다. 효과는 에이전트가 스펙에서 테스트를 뽑고, 드라이버 변경을 구현하고, 명령 하나로 전체 스위트를 돌릴 때 나타난다. 코드를 바꾸고 테스트 결과를 받기까지 한 사이클은 테스트 수에 따라 보통 3분에서 8분이다.

실제로 빨라진 것을 꼽아 보면 이렇다. 내부 루프는 반복 한 번에 30분에서 60분 걸리던 것이 3분에서 8분으로 줄었다. 예전에는 건너뛰던 테스트 생성이 이제 스펙에서 저절로 나온다. 코드 리뷰도 빨라졌다. 에이전트가 PR을 올리기 전에 컨벤션 위반을 먼저 잡아 준다. 변하지 않은 것도 있다. 물리 계층에서 문제가 생겼을 때의 하드웨어 디버깅, 아키텍처 결정, 에라타 시트 읽기. 그리고 SPI 버스가 왜 멈췄는지 20분을 붙잡고 있다가 칩 셀렉트 극성이 뒤집혀 있었다는 걸 알아차리는 그 순간.

미리 적지 못한 버그: Property-Based Testing

위의 스펙 기반 방식은 이미 알고 있는 인수 기준에는 잘 맞는다. 다만 이 방식으로는 잡히지 않는 버그가 한 부류 있다. 미리 적어 두지 않은 엣지 케이스다.

Example-based 테스트(AC-1부터 AC-6까지)는 내가 직접 적어 둔 시나리오만 덮는다. SPI 프레임 파서에, 특정 바이트 시퀀스에서만 터지는 버퍼 처리 버그가 있다고 해 보자. 그 시퀀스를 미리 짚어 넣어 둘 만큼 앞을 내다보지 않았다면, 어떤 인수 기준도 이 버그를 잡지 못한다.

Property-based testing이 이 빈틈을 메운다. 테스트 케이스를 하나씩 적는 대신 불변 조건(“유효한 입력이면 이 속성이 항상 성립한다”)을 정의하면, 생성기가 수천 개의 입력을 스스로 훑는다. 실패를 찾으면 그 실패가 재현되는 가장 작은 케이스까지 입력을 줄여 준다.

호스트에서 돌릴 수 있는 임베디드 C 코드라면 방법은 이렇다. 모듈을 공유 라이브러리로 컴파일하고, Python CFFI(C 함수를 직접 부르는 외부 함수 인터페이스)로 불러온 다음, Hypothesis로 입력을 계속 넣어 본다. 설치는 pip install cffi hypothesis로 한다.

# tests/test_imu_properties.py
from hypothesis import given, strategies as st
import cffi

ffi = cffi.FFI()
ffi.cdef("""
    typedef struct { int16_t accel[3]; int16_t gyro[3]; uint32_t timestamp; } imu_sample_t;
    int parse_imu_frame(const uint8_t *buf, int len, imu_sample_t *out);
""")
lib = ffi.dlopen("./build/libimu_host.so")  # cc -shared -o build/libimu_host.so imu_spi.c

@given(data=st.binary(min_size=1, max_size=64))
def test_parser_never_crashes(data):
    """어떤 입력도 파서를 크래시시키면 안 된다. 성공 또는 에러 코드 반환."""
    buf = ffi.new("uint8_t[]", data)
    sample = ffi.new("imu_sample_t *")
    ret = lib.parse_imu_frame(buf, len(data), sample)
    assert ret in (0, -1)  # 0 = 유효 프레임, -1 = 파싱 에러

호스트에서 밀리초 단위로 끝나고, 타겟 하드웨어가 아예 필요 없다. Hypothesis는 내 프레임 파서에서 10초 만에 버그를 찾았다. 겉보기에는 유효한 헤더인데 페이로드가 잘린 특정 바이트 조합이었고, 그 조합이 파서를 버퍼 밖까지 읽게 만들었다. 줄여 낸 실패 케이스는 7바이트였다. 그 시퀀스를 노린 테스트를 내가 손으로 짰을 리 없다.

Property-based 테스트는 로직 레이어를, 스펙 기반 테스트는 통합 레이어를 덮는다. 둘을 함께 쓰면 두 층 모두에서 버그를 잡을 수 있다. 이것들이 퍼징, 하드웨어-인-더-루프 검증과 함께 4계층 테스팅 피라미드 안에서 어떻게 맞물리는지는 전체 파이프라인 포스트에 정리했다.

안 되는 것

스펙 기반 래퍼는 보통의 임베디드 리눅스 드라이버에서 중요한 것의 절반쯤을 덮는다. 나머지 절반은 이런 것들이다.

동시성이 그렇다. 레이스 컨디션, 락 경합, 우선순위 역전. 에이전트가 ThreadSanitizer나 Helgrind를 돌릴 수는 있다. 하지만 특정 레이스를 일으키는 워크로드를 설계하지는 못한다. 그건 그런 버그를 직접 겪어 본 사람이 해야 하는 일이다.

하드웨어 장애도 그렇다. 전원 손실, SPI 버스 멈춤, 인터럽트 폭주. 에이전트는 소프트웨어 장애 주입(stress-ng, 강제 모듈 언로드/재로드)은 짤 수 있다. 하지만 물리적인 장애에는 물리적인 장비가 있어야 한다. labgrid가 PDU와 USB 전원 스위치(예: SiS-PM)로 전원 제어를 지원하기는 한다. 그래도 배선을 하고 “복구”가 무엇인지 정하는 일은 누군가 맡아야 한다.

에이전트에게 어디까지 맡길지도 남는다. 드라이버 코드라고 해서 위험도가 다 같지는 않다. 나는 테스트 스위트나 Yocto 레시피는 에이전트가 큰 감독 없이 만들게 둔다. 반면 레지스터 설정, 인터럽트 핸들러, DMA 셋업을 건드리는 코드는 한 줄씩 들여다본다. 그 선을 어디에 그을지 아는 데에는 에이전트에게 없는 경험이 필요하다.

이 방식이 잘 맞는 영역 안에서도 마찰이 없지는 않다. 지난주에 에이전트가 AC-4(SPI 버스 에러 복구) 테스트를 짜면서 spi-fault-inject라는 도구를 가져다 썼다. 최신 커널 staging 트리에 있는 도구다. 그런데 우리 Yocto 이미지는 커널 6.1 LTS에 고정되어 있고, 거기에는 이 모듈이 없다. 타겟에서 modprobe: FATAL: Module spi_fault_inject not found가 뜨면서 테스트가 깨졌다. CLAUDE.md(에이전트가 오래 지켜야 할 제약을 읽어 가는 프로젝트 루트 파일)에 커널 버전 제약을 적어 넣기 전까지, 에이전트로서는 이걸 알 방법이 없었다. 이런 곁길은 원인을 찾는 데만 10분에서 15분이 걸리고, 매끈하게 정리된 워크플로 소개 글에는 나오지 않는다.

새로 생긴 병목은 스펙의 품질이다. 스펙이 흐릿하면(“드라이버가 에러를 처리해야 함”) 에이전트는 쉽게 통과하는 흐릿한 테스트를 뽑는다. 스펙이 구체적이면(“SPI 버스 에러 후 3초 안에 복구, 센서 재초기화, 데이터 갭 없이 샘플링 재개”) 실제로 버그를 잡는 테스트를 뽑는다.

나머지는 사람이 설계한 시나리오, 오래 돌리는 CI, 물리적인 테스트 장비가 맡아야 한다. 그 너머까지 자동으로 커버된다고 말하는 사람이 있다면, 나는 그 사람이 무언가를 팔고 있다고 생각한다.

어디서 시작할까

다시 처음부터 한다면, 나는 지금 붙잡고 있는 드라이버나 커널 모듈 하나를 고르겠다. 인수 기준 5개를 담은 spec.md를 쓰고, pytest에 labgrid 래퍼를 붙인다(확인 몇 개를 돌리고 pass/fail만 찍는 bash 스크립트여도 괜찮다). 에이전트에게 스펙에서 테스트를 뽑게 하고, 명령 하나로 돌린다. 구조화된 피드백 루프가 어떤 느낌인지는 직접 겪어 봐야 안다.

파서나 데이터 처리 모듈이 있다면 Hypothesis property 테스트를 하나 얹어 볼 만하다. C를 .so로 컴파일하고, CFFI로 불러오고, 불변 조건 하나를 정의한다. 그러면 놓쳤던 엣지 케이스가 드러나는 걸 보게 된다.

에이전트가 JSON 테스트 실패를 읽고 1분 안에 버그를 고치는 순간, 감이 온다. 피드백 루프가 마침내 반복을 돌릴 수 있을 만큼 빨라졌기 때문이다.

다음 포스트에는 완벽한 스펙이 있어도 에이전트가 왜 여전히 망가진 DMA 핸들러를 짜는지, 그리고 컨텍스트 엔지니어링이 그걸 어떻게 잡는지 적었다. 마지막 포스트에는 프로젝트 구조 전체를 한자리에 모아 두었다.

ecro
글쓴이 ecro

LLM 펌웨어 벤치마크를 만들었습니다. EmbedEval →

프로젝트에 맞는 Claude Code / Cursor / Codex 하네스를 생성하는 도구를 만듭니다. harness-maker →

에이전트와 같은 보드를 함께 다루는 시리얼, SSH 터미널을 만들고 있습니다. NeuroTerm →

댓글

댓글 불러오는 중...