애플 MLX, 맥 스튜디오 4대로 8160억 AI 모델 구동

애플, 15일 맥 스튜디오 분산 추론 결과 공개

MLX는 애플 실리콘 컴퓨터에서 AI 모델의 실행과 연구에 쓰는 오픈소스 프레임워크이다. 애플은 10월 15일 공식 연구 블로그에서 여러 대의 맥 스튜디오를 연결해 대형 언어모델을 실행하는 방법과 성능 측정 결과를 공개했다.

이번에 소개한 모델은 뮤즈 스파크 오픈이다. 새 모델을 처음부터 학습한 결과가 아니라, 이미 만들어진 모델로 답변을 생성하는 추론 시험이다. 핵심은 한 컴퓨터의 메모리에 담기 어려운 모델을 여러 컴퓨터에 나누고, 그 사이의 통신 지연을 줄이는 데 있다.

4비트 모델 메모리만 493GB, 실행 여유도 필요

애플 공식 자료에 따르면 뮤즈 스파크 오픈의 전체 매개변수는 8160억 개다. 이 가운데 추론 시 활성화되는 매개변수는 420억 개인 전문가 혼합형(MoE) 구조다. 매번 모든 매개변수를 계산하지 않더라도 모델 전체를 저장할 공간은 따로 필요하다.

기본 BF16 정밀도에서는 모델 매개변수만 보관하는 데 1.6TB가 넘는 메모리가 필요하다. 애플이 시험한 4비트 NVFP4 형식으로 줄여도 모델 메모리는 약 493GB다. 연산 도중 쓰는 추가 공간까지 더하면 통합 메모리 512GB인 맥 스튜디오 한 대에도 들어가지 않는다는 설명이다.

따라서 ‘맥에서 실행된다’는 표현을 일반적인 노트북 한 대로 같은 모델을 쓸 수 있다는 뜻으로 읽으면 안 된다. 모델 크기를 줄이는 양자화와 여러 컴퓨터에 나누는 분산 실행은 각각 별도의 역할을 한다.

맥 4대서 초당 36.73토큰, 입력 8192토큰 기준

애플은 M5 울트라 맥 스튜디오 2대와 4대를 사용한 결과를 비교했다. 입력 문맥 8192토큰을 처리한 뒤 128토큰을 생성하는 조건에서 공개한 속도는 다음과 같다.

장비·분산 방식	생성 속도
맥 2대·파이프라인 병렬화	초당 15.74토큰
맥 2대·텐서 병렬화	초당 24.99토큰
맥 4대·텐서 병렬화	초당 36.73토큰

파이프라인 병렬화는 모델의 앞부분과 뒷부분을 서로 다른 컴퓨터가 맡는 방식이다. 텐서 병렬화는 각 층의 계산을 여러 컴퓨터가 나눠 처리한다. 후자는 계산을 동시에 수행할 수 있지만 컴퓨터 사이에 작은 데이터를 자주 주고받아야 해 연결 지연의 영향을 받는다.

토큰은 글을 처리하는 단위여서 초당 36.73글자와 같지 않다. 이 표는 답변이 만들어지는 속도이며, 질문을 넣은 뒤 첫 답변이 나오기까지 기다리는 시간과도 다르다. 수치는 애플의 자체 시험 결과로, 토픽나우가 같은 장비에서 재현한 독립 측정치는 아니다.

썬더볼트 5·RDMA·메모리 조건을 함께 봐야

MLX 공식 분산 통신 문서는 macOS 26.2부터 제공되는 썬더볼트 5 기반 RDMA와 이를 활용하는 JACCL 통신 방식을 설명한다. RDMA는 컴퓨터 사이 데이터를 낮은 지연으로 주고받는 데 쓰인다. macOS 복구 모드에서 활성화해야 하며, JACCL은 모든 맥 쌍이 썬더볼트 케이블로 직접 연결된 구성을 요구한다. 애플의 시험은 컴퓨터 쌍마다 케이블 2개를 연결해 통신 대역폭을 늘렸다.

독자가 확인할 것은 맥의 대수만이 아니다. 각 장비의 메모리, 모델의 정밀도, 입력 길이, 분산 방식과 연결 구성이 함께 맞아야 한다. 애플은 첫 토큰까지의 시간은 연산 성능, 생성 속도는 메모리 대역폭에 주로 좌우된다고 설명했다.

애플은 이 구성을 개인 환경에서 모델을 연구하고, 자체 장비의 로컬 서버에 코딩 에이전트를 연결하는 용도로 제시했다. 개인·팀이 도입을 검토한다면 필요한 모델과 문맥 길이를 먼저 정하고 장비·메모리·연결 비용을 비교하는 편이 합리적이다.

대표 이미지는 맥 스튜디오 외형을 담은 자료 사진이며, 애플의 이번 시험 장비나 연결 구성을 촬영한 사진은 아닙니다.