AI가 드디어 하드웨어 엔지니어를 필요로 한다

2023년, 학습(training)이 전체 AI 컴퓨팅의 3분의 2를 차지했다. 2026년엔 추론(inference)이 그 자리를 가져갔다. 3년 만에 비율이 정확히 뒤집혔다. 그 추론의 대부분은 아직 클라우드에서 돈다. 그런데 가장 빠르게 크는 구간이 엣지고, 엣지는 임베디드 엔지니어가 일하는 곳이다.

이유는 단순하다. 추론은 정의상 데이터가 있는 곳에서 돈다. 디바이스에서. 엣지에서. 우리가 만드는 하드웨어에서.

무엇이 겹쳤나

세 가지가 동시에 일어났다. 어느 하나만으로는 부족했다.

비용이 무너졌다. 2023년 3월 GPT-4가 나왔을 때 추론 비용은 백만 토큰당 30에서 60달러였다. 지금은 같은 품질이 1달러 미만이다. 3년 만에 50배 하락. 온디바이스에선 격차가 더 벌어진다. Jetson AGX에서 추론 한 건당 약 $0.004, 클라우드 API 호출은 $0.05에서 0.50 수준이다. 제조업과 헬스케어의 프로덕션 배포에선 온디바이스 전환 후 10배에서 30배 비용 절감이 꾸준히 보고된다. 추론 비용이 내려가면 배포가 는다. 배포가 늘면 엣지 디바이스가 늘고, 엣지 디바이스가 늘면 그걸 동작시키는 엔지니어 수요가 는다.

작은 모델이 쓸만해졌다. Gemma 3는 2억 7천만 파라미터로 라즈베리 파이 5에서 돈다. 빠르진 않다. 그래도 배치 엔터티 추출이나 분류처럼 레이턴시가 초 단위인 작업엔 충분하다. 돌파구는 압축이 아니었다. 학습 방법론이었다. 대형 모델로부터의 증류(distillation)와 고품질 합성 데이터가 10억 파라미터 이하에선 파라미터 수보다 더 중요하다는 게 드러났다. 우리 하드웨어에 맞는 모델이 더 이상 장난감 데모가 아니게 됐다.

NPU 실리콘이 표준이 됐다. 지금 센서 게이트웨이 프로젝트에서 STM32N6과 NXP MCX N94를 비교하고 있다. 둘 다 NPU가 있다. NPU 탑재 변종의 BOM 추가 비용은 1달러 미만이다. 1년 전엔 이 칩이 Mouser에 없었다. 2년 전엔 “MCU에 NPU”가 컨퍼런스 데모 수준이었다. AI 가속이 차별화 요소에서 체크박스로 내려앉았다. 10년 전 마이크로컨트롤러에서 WiFi가 걸어간 궤적 그대로다.

숫자가 숨기는 것

벤더마다 TOPS를 앞세운다. 새로운 MHz 마케팅이다. 정작 엣지 디바이스의 진짜 병목은 메모리 대역폭이다. 모바일은 60에서 85 GB/s(LPDDR5x), 데이터센터 GPU는 3,000에서 8,000 GB/s(HBM3/HBM3e). 엣지 LLM 디코드 속도를 좌우하는 건 이 50에서 100배 격차다. 연산 능력이 아니고 대역폭이다. 4비트 양자화가 엣지 처리량에 유독 큰 영향을 주는 것도 이 때문이다. 결국 크기 최적화보다 대역폭 최적화의 문제다.

그리고 툴링이 아직 안 익었다. STM32N6 타겟으로 키워드 인식 모델을 ONNX에서 LiteRT로 변환하는 데 하루를 통째로 날렸다. 모델이 depthwise separable convolution을 썼는데, 효율적 오디오 모델의 표준 아키텍처다. 하지만 STM32N6 NPU 백엔드가 depthwise conv 연산자를 지원하지 않았다. 결국 모델 아키텍처를 grouped standard convolution으로 다시 짰다. 모델은 돌아갔다. 하루는 사라졌다.

프로젝트 하나짜리 이야기다. 그래도 NPU에 모델을 올려본 임베디드 엔지니어라면 비슷한 기억이 있을 법하다. 실리콘은 동작하는데, 프레임워크에 구멍이 있다는 것. ESP8266 시절과 똑같다. 하드웨어는 출하됐고, 소프트웨어는 따라오는 중이다. 다른 점이 있다면, WiFi는 하나의 스택으로 수렴했다. 엣지 AI는 수십 개 프레임워크가 경쟁 중이고 아직 승자가 없다. 이 파편화 때문에 이 단계가 WiFi 때보다 길어질 수도 있다.

대부분 프로덕션 시스템의 솔직한 아키텍처가 이걸 반영한다. 프로덕션 AI 배포의 78%가 하이브리드 엣지/클라우드 구성이다. 순수 온디바이스는 예외다. 오프라인이거나, 에어갭 환경(관련 파이프라인을 쓴 적 있다)이거나, 하드 레이턴시 케이스에만 해당된다. 그렇다고 하이브리드에서 엣지 쪽이 단순해지진 않는다. 뭘 로컬에서 돌리고 뭘 클라우드로 보낼지 정하고, 온디바이스 부분을 레이턴시와 전력에 맞게 최적화하고, 연결이 끊겼을 때 폴백을 처리하는 것. 이게 시스템 엔지니어링이다.

내 생각

AI는 코드를 생성하고, 아키텍처를 제안하고, 하이퍼파라미터를 최적화할 수 있다. 앞으로 더 잘해질 것이다. 그런데 엣지에서의 추론은 순수 소프트웨어 문제로 안 끝난다. 디지털과 물리 세계의 경계에 놓인 문제고, 그 경계에서 AI는 유용해지기를 멈추고 우리를 필요로 하기 시작한다.

NPU 추론이 20ms가 아니라 200ms로 나올 때, 오실로스코프를 들여다보며 병목이 연산이 아니라 특정 버스의 메모리 대역폭이라는 걸 짚어내는 건 누군가의 일이다. 코인셀 배터리로 출하해야 할 때 모델 정확도와 전력 예산 사이에서 뭘 포기할지 정하는 것도 누군가의 일이다. 측정하고, 검증하고, 결과에 책임지는 것도. 임베디드에서 “그럴듯한”과 “정확한”은 같지 않고, 잘못된 레지스터 주소는 소리 없이 실패한다.

AI가 코드를 더 많이 뽑을수록, 그걸 실제 하드웨어에서 검증하는 사람의 값이 오른다. AI가 트레이드오프를 제안할수록, 어떤 트레이드오프가 특정 제품과 시장과 전력 한계에 맞는지 아는 사람의 값이 오른다. 우리가 늘 툴툴대던 제약들. 메모리 한계, 열 예산, 인증 요건, BOM 압박. 그게 사실 해자(moat)였다. 모든 제품이 엣지 추론을 필요로 하진 않는다. 많은 제품은 클라우드 API를 계속 쓸 거고, 그래도 괜찮다. 그렇지만 오프라인으로 돌아야 하거나, 전력 제약이 있거나, 하드 레이턴시가 필요한 제품엔 하드웨어를 우회하는 지름길이 없다.

지금 내가 하는 것. NPU 탑재 SoC를 기본으로 고른다(BOM 차이는 무시할 수준). 단, 평가 기준은 TOPS가 아닌 operator coverage다. 프로젝트 일정에 모델 아키텍처 적응 시간을 잡아둔다. “이 NPU가 INT8을 지원한다”와 “이 NPU가 내 모델의 연산자를 지원한다” 사이의 간극이 보통 일주일 재작업이고, 어떤 데이터시트도 이걸 미리 안 알려주기 때문이다. 그리고 이 실리콘/소프트웨어 갭을 일찍 파악하는 엔지니어가 지배적인 엣지 AI 제품을 만들 것이라 본다. 초기 ESP8266 WiFi 스택을 길들인 엔지니어들이 뒤이어 IoT 제품을 만든 것과 같은 패턴이다.

추론이 이겼다. 남은 일은 AI가 할 수 없는 일이다. 제약 있는 하드웨어에서, 현실 조건 아래, 실패에 실질적 결과가 따르는 환경에서 정확하게 동작하게 만드는 것. 이 창은 영원히 열려 있지 않다. 자동 계측과 AI 기반 테스트가 이 영역을 잠식할 것이다. 지금 움직이는 엔지니어에게 이점이 있다.