왜 EdgeLog를 시작했는가
LLM과 zero-trust 보안, 현대 프레임워크를 실제 임베디드 하드웨어에 올리면 무슨 일이 생기는지 알고 싶었다. 그걸 적어 두는 에지의 연구 기록.
On this page
잘나가는 AI 기술은 대개 클라우드에서 태어난다. LLM, RAG 파이프라인, zero-trust 보안, 실시간 ML 추론이 모두 RAM이 넉넉하고 네트워크가 안정적인 서버에서 처음 모습을 드러낸다. 그러다 누군가 묻는다. “이거 디바이스에서도 돌아가나?”
문서는 보통 거기서 멈춘다.
아무도 답하지 않는 질문
512MB RAM짜리 에지 디바이스에 양자화된 LLM을 올리면 무슨 일이 벌어질까? 전력 예산이 2W인 Cortex-A53에서 WASM 런타임으로 쓸모 있는 무언가를 만들 수 있을까?
모두 실제 프로젝트에서 부딪히는 문제다. 제약이 걸린 하드웨어에 새 기술을 올려 본 사람이라면 누구나 같은 일을 겪는다. 그런데 알아낸 것을 적어 두는 사람이 없다.
기존 임베디드 블로그들은 기초를 잘 다룬다. Interrupt는 펌웨어 엔지니어링을, Shawn Hymel은 MCU급 에지 AI를 다룬다. 하지만 새 기술은 빨리 바뀐다. “이런 기술이 있다”와 “실제 하드웨어에 올려 봤더니 이랬다” 사이의 거리는 달마다 벌어진다.
EdgeLog가 하는 일
EdgeLog는 연구 기록이다. 새로 나온 기술을 임베디드와 에지 디바이스에 올려 보고, 무엇이 정말 돌아가는지 확인한 다음, 그 경험을 적는다.
글마다 묻는 것은 같다. 이 기술이 실제 하드웨어 제약과 부딪히면 무슨 일이 일어나는가.
주제는 새 기술을 따라 바뀐다. 지금 붙잡고 있는 것들을 적어 둔다.
먼저 온디바이스 인텔리전스다. Raspberry Pi 5 (8GB)에 Q4_K_M로 양자화한 Qwen2.5-1.5B를 올려 llama.cpp를 돌려 봤다. 초당 6 토큰쯤 나온다. 느리다. 그래도 클라우드 API를 부르지 않고 로컬에서 명령을 파싱하고 로그를 요약하는 정도라면 충분히 쓸 만하다. 내가 정말 궁금한 것은 “돌아간다” 다음부터다. 메모리 대역폭 병목(Pi의 50 GB/s LPDDR4X 대 데이터센터 GPU의 2 TB/s HBM)과, eMMC 위 SQLite에 벡터 확장을 얹은 RAG가 그렇다.
다음은 프레임워크와 런타임이다. Zephyr 4.x는 Kenning 런타임과 LiteRT, IREE로 ML 추론을 돌리는 보드를 900개 넘게 지원한다. 2025년 12월부로 Linux 커널에서 Rust는 실험 딱지를 뗐고, DRM 서브시스템은 새 드라이버에 Rust를 요구할 계획이다. WasmEdge, Ocre(Linux Foundation, Zephyr에서 128KB 풋프린트) 같은 WASM 런타임은 실험 단계를 지나 프로덕션으로 넘어오고 있다. 복잡한 에지 디바이스에서는 하이브리드 OS 구조(Zephyr가 실시간 제어, Linux가 네트워킹과 UI)가 어느새 기본이 되어 간다. 나는 이 가운데 무엇이 실제 데드라인과 실제 전력 예산 앞에서도 살아남는지 보고 싶다.
AI로 하는 임베디드 개발도 본다. 나는 Yocto 레시피를 디버깅하고 디바이스 트리를 리뷰할 때 Claude를 매일 쓴다. compatible 문자열이 빠진 곳을 잡아내고 RDEPENDS를 고칠 자리를 짚어 주는 일은 분명히 잘한다. 레지스터 수준의 드라이버 코드는 분명히 못한다. 레지스터 맵을 환각으로 지어내서 엉뚱한 오프셋에 값을 쓰는, 컴파일은 되고 그럴듯해 보이는 C를 내놓는다. 임베디드 작업마다 그 경계가 어디쯤 있는지, 통과와 실패 예시를 붙여서 정리해 두고 싶다.
마지막은 에지 보안과 CRA 준수다. EU 사이버 복원력법(CRA)의 보고 의무는 2026년 9월 11일부터 적용된다. EU에 임베디드 Linux 제품을 파는 회사라면 실제로 악용되는 취약점을 24시간 안에 ENISA에 신고해야 한다. 완전 준수 시한은 2027년 12월이다. 그런데 내가 본 Yocto 기반 제품 대부분은 빌드 파이프라인에 자동 CVE 스캐닝이 없었다. ENISA가 받아 줄 SBOM은 말할 것도 없다. Zephyr는 이미 Build SBOM을 자동으로 만들어 주고, Yocto는 아직 따라가는 중이다. 나는 meta-security 기반 빌드에서 현실적인 준수 구성이 어떤 모양인지, 커스텀 하드웨어에서 secure boot와 anti-rollback OTA가 실제로 무엇을 요구하는지 정리하고 있다.
이 목록은 계속 바뀔 것이다. 처음부터 그러려고 만든 목록이다.
글쓰기 방식
실험이 먼저고 글은 나중이다. 모든 글은 실제 하드웨어, 실제 코드, 실제 측정값에서 출발한다. 직접 빌드하고 플래시하고, 돌아가는 모습(또는 죽는 모습)을 눈으로 보지 않았다면 그렇다고 밝힌다.
안 되는 것도 적는다. 나는 가치의 절반이 막다른 길에 있다고 생각한다. README에서는 그럴듯한데 메모리가 빠듯한 디바이스에 올리면 무너지는 기술이라면, 그런 것이야말로 적어 둘 만하다. Cortex-A53 보드에서 WASM 기반 ML 추론을 돌려 보겠다고 두 주를 쏟았다가, 결국 접고 네이티브 C로 돌아온 적이 있다. 그것도 글 하나가 된다.
독자의 시간을 아끼려 한다. 바로 돌려 볼 수 있는 코드, 비교할 수 있는 숫자, 각자의 프로젝트에 대어 볼 수 있는 트레이드오프를 내놓는다.
다음에 올 내용
첫 실험들은 이미 돌아가고 있다.
누가 “이거 디바이스에서 돌아가나?” 하고 물을 때 눈이 반짝이는 엔지니어가 있다. 이 블로그는 그런 사람을 위해 쓴다. 구독은 RSS로 하면 된다.
댓글
댓글 불러오는 중...