오픈소스 대체 모델로 주목
로컬 배포 및 커스터마이징 지원
금융·의료·제조 등 다양한 활용 기대
프랑스 인공지능 기업인 미스트랄 AI(Mistral AI)는 지연 시간을 최적화한 240억 매개변수(parameter) 규모의 인공지능(AI) 모델 ‘미스트랄 스몰 3(Mistral Small 3)’를 공개했다고 지난달 31일(현지시각) 밝혔다. 해당 모델은 아파치 2.0(Apache 2.0) 라이선스 하에 배포된다.
미스트랄 스몰 3는 메타의 라마 3.3 70B(Llama 3.3 70B)나 알리바바의 쿠엔 32B(Qwen 32B) 등 대형 모델과 경쟁할 수 있는 성능을 제공한다는 것이 회사측의 설명이다. 특히 GPT-4o 미니(GPT-4o-mini)와 같은 폐쇄형 모델을 대체할 수 있는 강력한 오픈소스로 평가받고 있다고 주장했다.
이번 모델은 81% 이상의 MMLU(대규모 다중작업 언어 이해) 정확도를 기록했다. 초당 150 토큰(token)의 속도를 보인다. 또 기존 모델보다 적은 레이어(layer) 수를 유지해 처리 속도를 극대화한 점이 특징이다. 이를 통해 동일한 하드웨어 환경에서 라마 3.3 70B보다 3배 이상 빠른 속도를 구현했다.
미스트랄 스몰 3는 △빠른 응답이 필요한 대화형 AI, △저지연 함수 호출, △도메인 특화 전문가 모델 구축, △로컬 배포 환경 등에서 활용될 수 있다. 특히 금융, 의료, 제조 등 다양한 산업에서 적용이 가능하다. 금융 서비스 기업은 사기 탐지(Fraud Detection)에 활용할 수 있으며, 의료 분야에서는 환자 분류(Triage) 및 상담 서비스로 사용할 수 있다. 또한 로봇, 자동차, 제조업에서는 기기 내 명령 제어(On-Device Command and Control) 용도로 적용할 수 있다.
더군다나 개인 및 기업 사용자는 미스트랄 스몰 3를 로컬 환경에서 실행할 수도 있다. 모델을 양자화(Quantization)하면 엔비디아(NVIDIA) RTX 4090 그래픽카드 또는 32GB RAM을 장착한 맥북에서 원활하게 구동할 수 있다.
미스트랄 스몰 3는 미스트랄 AI의 자체 플랫폼 ‘라 플라트포름(la Plateforme)’에서 ‘mistral-small-latest’ 또는 ‘mistral-small-2501’ 이름으로 제공된다.
아울러 허깅 페이스(Hugging Face), 올라마(Ollama), 캐글(Kaggle), 투게더 AI(Together AI), 파이어웍스 AI(Fireworks AI), IBM 왓슨X(watsonx) 등 다양한 기술 파트너들과 협력해 배포된다. 향후 엔비디아 님(NVIDIA NIM), 아마존 세이지메이커(Amazon SageMaker), 그록(Groq), 데이터브릭스(Databricks), 스노우플레이크(Snowflake) 등에서도 사용이 가능할 전망이다.
