← 에세이 /Post · 22 of 27 · Methods

AI가 드디어 하드웨어 엔지니어를 필요로 한다

2026년, 추론이 학습을 앞질렀다. 가장 빠르게 크는 곳은 엣지이고, 거기 남은 일은 AI가 할 수 없는 일이라고 나는 생각한다.

·3 min read · · · #edge-ai#inference#on-device
AI가 드디어 하드웨어 엔지니어를 필요로 한다
On this page

2023년에는 학습(training)이 전체 AI 컴퓨팅의 3분의 2를 차지했다. 2026년에는 추론(inference)이 그 자리를 가져갔다. 3년 만에 비율이 정확히 뒤집힌 것이다. 그 추론의 대부분은 아직 클라우드에서 돈다. 그런데 가장 빠르게 크는 곳은 엣지이고, 엣지는 임베디드 엔지니어가 일하는 곳이다.

추론은 원래 데이터가 있는 곳에서 돈다. 디바이스에서, 엣지에서, 우리가 만드는 하드웨어에서.

무엇이 겹쳤나

일이 한꺼번에 겹쳤다. 어느 하나만으로는 모자랐을 것이다.

비용이 무너졌다. 2023년 3월 GPT-4가 나왔을 때 추론 비용은 백만 토큰당 30에서 60달러였다. 지금은 같은 품질이 1달러가 안 된다. 3년 만에 50배가 내려간 셈이다. 온디바이스로 가면 차이는 더 벌어진다. Jetson AGX에서 추론 한 건은 약 $0.004이고, 클라우드 API 호출은 $0.05에서 0.50 수준이다. 추론 비용이 내려가면 배포가 늘어난다. 배포가 늘면 엣지 디바이스가 늘고, 엣지 디바이스가 늘면 그걸 움직이게 할 엔지니어도 더 필요해진다.

작은 모델도 쓸 만해졌다. Gemma 3는 2억 7천만 파라미터로 라즈베리 파이 5에서 돈다. 빠르지는 않다. 그래도 배치 엔터티 추출이나 분류처럼 레이턴시를 초 단위로 재는 작업에는 충분하다. 돌파구는 학습 방법에서 왔다. 대형 모델로부터의 증류(distillation)와 고품질 합성 데이터가, 10억 파라미터 이하에서는 파라미터 수보다 더 중요하다는 게 드러났다. 우리 하드웨어에 맞는 모델이 더는 장난감 데모에 머물지 않게 됐다.

NPU 실리콘은 표준이 됐다. 나는 지금 센서 게이트웨이 프로젝트에서 STM32N6과 NXP MCX N94를 비교하고 있다. 둘 다 NPU가 있다. NPU가 들어간 변종을 골라도 BOM에 더해지는 비용은 1달러가 안 된다. 1년 전에는 이 칩이 Mouser에 없었다. 2년 전에는 “MCU에 NPU”가 컨퍼런스 데모에서나 보던 것이었다. AI 가속은 차별점이던 자리에서 체크박스 하나로 내려왔다. 10년 전 마이크로컨트롤러에서 WiFi가 걸어간 길과 같다.

숫자가 숨기는 것

벤더마다 TOPS를 앞에 내세운다. 새로운 MHz 마케팅이라고 본다. 그런데 엣지 디바이스의 진짜 병목은 메모리 대역폭이다. 모바일은 60에서 85 GB/s(LPDDR5x)이고, 데이터센터 GPU는 3,000에서 8,000 GB/s(HBM3/HBM3e)다. 엣지에서 LLM 디코드 속도를 정하는 것은 이 50에서 100배의 차이다. 연산 능력보다 대역폭이 결정한다. 4비트 양자화가 엣지 처리량에 유난히 크게 듣는 것도 그래서다. 따지고 보면 크기를 줄이는 문제라기보다 대역폭의 문제다.

툴링도 아직 덜 익었다. STM32N6을 타깃으로 키워드 인식 모델을 ONNX에서 LiteRT로 변환하다가 하루를 통째로 잃었다. 모델은 depthwise separable convolution을 썼는데, 효율적인 오디오 모델에서는 표준 아키텍처다. 하지만 STM32N6 NPU 백엔드는 depthwise conv 연산자를 지원하지 않았다. 결국 모델 아키텍처를 grouped standard convolution으로 다시 짰다.

프로젝트 하나의 이야기일 뿐이다. 그래도 NPU에 모델을 올려 본 임베디드 엔지니어라면 비슷한 기억이 하나쯤 있을 것이다. 실리콘은 동작하는데 프레임워크에 구멍이 있다. ESP8266 시절과 다르지 않다. 하드웨어는 출하됐고, 소프트웨어는 뒤따라오는 중이다. 다른 점이 하나 있다면, WiFi는 하나의 스택으로 모였다는 것이다. 엣지 AI에서는 수십 개 프레임워크가 다투고 있고 아직 승자가 없다. 이렇게 갈라져 있으니 이 단계는 WiFi 때보다 길어질 수도 있다.

실제 프로덕션 구성을 보면 알 수 있다. 프로덕션 AI 배포는 대부분 하이브리드 엣지/클라우드 구성이다. 순수 온디바이스는 예외에 가깝다. 오프라인이거나, 에어갭 환경(관련 파이프라인을 쓴 적 있다)이거나, 지연 제한이 엄격한 경우에만 그렇다. 그렇다고 하이브리드에서 엣지 쪽이 단순해지지는 않는다. 무엇을 로컬에서 돌리고 무엇을 클라우드로 보낼지 정하고, 온디바이스 부분을 레이턴시와 전력에 맞게 다듬고, 연결이 끊겼을 때의 폴백을 처리해야 한다.

내 생각

AI는 코드를 만들고, 아키텍처를 제안하고, 하이퍼파라미터를 최적화할 수 있다. 앞으로 더 잘할 것이다. 그런데 엣지에서의 추론은 순수한 소프트웨어 문제로 끝나지 않는다. 디지털과 물리 세계의 경계에 놓인 문제이고, 나는 그 경계에서 AI 혼자서는 더 못 가고 사람이 필요해진다고 생각한다.

NPU 추론이 20ms가 아니라 200ms로 나올 때가 있다. 그때 오실로스코프를 들여다보며 병목이 연산이 아닌 특정 버스의 메모리 대역폭이라는 걸 짚어 내는 것은 사람이다. 코인셀 배터리로 출하해야 할 때 모델 정확도와 전력 예산 사이에서 무엇을 내려놓을지도 사람이 정한다. 임베디드에서 “그럴듯한”과 “정확한”은 같지 않고, 잘못된 레지스터 주소는 소리 없이 실패한다.

AI가 코드를 더 많이 뽑아낼수록, 그걸 실제 하드웨어에서 검증하는 사람의 값이 오른다. 우리가 늘 투덜대던 제약들이 있다. 메모리 한계, 열 예산, 인증 요건, BOM 압박. 그것이 해자(moat)였다. 모든 제품이 엣지 추론을 필요로 하지는 않는다. 많은 제품이 클라우드 API를 계속 쓸 것이고, 그래도 괜찮다. 하지만 오프라인으로 돌아야 하거나, 전력 제약이 있거나, 지연 제한이 엄격한 제품에는 하드웨어를 비켜 가는 지름길이 없다.

지금 나는 NPU가 들어간 SoC를 기본으로 고른다(BOM 차이는 무시해도 될 정도다). 다만 평가 기준은 TOPS보다 operator coverage에 둔다. 프로젝트 일정에는 모델 아키텍처를 맞추는 시간을 미리 잡아 둔다. “이 NPU가 INT8을 지원한다”와 “이 NPU가 내 모델의 연산자를 지원한다” 사이의 거리는 보통 일주일의 재작업이고, 어떤 데이터시트도 그걸 미리 알려 주지 않기 때문이다. 그리고 나는 이 실리콘과 소프트웨어 사이의 틈을 일찍 파악한 엔지니어가 엣지 AI 제품의 앞자리를 차지할 것이라고 본다. 초기 ESP8266 WiFi 스택을 길들인 엔지니어들이 뒤이어 IoT 제품을 만든 것과 같은 흐름이다.

ecro
글쓴이 ecro

LLM 펌웨어 벤치마크를 만들었습니다. EmbedEval →

프로젝트에 맞는 Claude Code / Cursor / Codex 하네스를 생성하는 도구를 만듭니다. harness-maker →

에이전트와 같은 보드를 함께 다루는 시리얼, SSH 터미널을 만들고 있습니다. NeuroTerm →

댓글

댓글 불러오는 중...