Object Detection·Segmentation 소식: SAM 3와 YOLO26
목차
Object Detection·Segmentation 모델 소식
2026년 9월 5일 기준으로 공식 문서에서 확인할 수 있는 최신 비전 모델 소식을 정리합니다. 이번 글에서는 프롬프트로 대상을 찾고 분할하는 Meta의 SAM 3와 실시간 검출·분할을 한 계열에서 제공하는 Ultralytics의 YOLO26을 비교합니다.
Object Detection은 이미지 안의 물체가 무엇인지와 대략적인 위치를 사각형으로 찾는 작업입니다. Segmentation은 여기서 더 나아가 물체의 픽셀 영역을 마스크로 구분합니다. 그래서 창고의 박스 개수를 세는 일에는 검출이 충분할 수 있지만, 로봇이 물체의 외곽선을 따라 집거나 배경에서 제품만 분리해야 한다면 분할 결과가 더 유용합니다.
Meta SAM 3: 글이나 예시로 찾고, 분할하고, 추적하기
Meta는 SAM 3를 이미지와 동영상에서 사용할 수 있는 통합형 프롬프트 기반 모델로 소개했습니다. 짧은 텍스트나 예시 이미지, 박스·점 같은 시각적 입력으로 대상을 지정하면 해당 물체를 찾아 분할하고 영상에서 추적하는 방식입니다. 이전처럼 모든 대상을 고정된 클래스 목록으로 학습시키는 흐름보다, 사용자가 “빨간 자전거”처럼 찾고 싶은 개념을 입력해 결과를 얻는 데 초점이 있습니다.
공식 저장소 설명에 따르면 SAM 3는 텍스트, 시각적 예시, 점·박스·마스크 프롬프트를 지원하고, 이미지와 영상에서 같은 개념의 여러 인스턴스를 찾는 기능을 제공합니다. 모델은 검출기와 트래커를 공유 비전 인코더와 함께 사용하는 구조이며, 저장소에는 약 8억 4,800만 개 파라미터 모델로 안내되어 있습니다. 따라서 “가벼운 모바일 모델”이라기보다 프롬프트 기반 범용 분할과 추적을 실험하려는 연구·프로토타입에 가까운 선택지로 보는 편이 안전합니다.
SAM 3의 장점은 새 클래스가 나올 때마다 전체 분류 체계를 다시 설계하지 않아도 된다는 점입니다. 반면 텍스트 프롬프트의 표현이 모호하거나, 매우 작은 물체·가림이 심한 장면·특수 산업 부품을 다룰 때는 결과를 별도로 검증해야 합니다. 실제 서비스에서는 마스크 품질뿐 아니라 처리 속도, GPU 메모리, 영상 프레임 간 일관성도 함께 측정해야 합니다.
Ultralytics YOLO26: 실시간 검출과 여러 비전 작업
Ultralytics 공식 문서에서 YOLO26은 2026년 1월 출시된 최신 YOLO 계열로 소개됩니다. 검출 전용 모델에 머무르지 않고 객체 검출, 인스턴스 분할, 의미론적 분할, 자세 추정, 깊이 추정, 방향이 있는 물체 검출을 하나의 모델 계열에서 다루는 것이 특징입니다. yolo26n부터 yolo26x까지 크기가 나뉘고, 인스턴스 분할은 yolo26n-seg 같은 별도 가중치 이름으로 제공됩니다.
YOLO26의 주요 변경점으로는 기본 경로에서 NMS 후처리를 없앤 네이티브 엔드투엔드 추론, 가벼워진 검출 헤드, DFL을 사용하지 않는 박스 회귀, 새로운 학습 레시피가 문서에 적혀 있습니다. 공식 수치 기준으로 COCO 검출 성능은 모델 크기에 따라 40.9~57.5 mAP 범위로 제시되고, T4 TensorRT 지연 시간은 1.7~11.8ms로 안내됩니다. 이 수치는 Ultralytics가 특정 하드웨어와 설정에서 측정한 값이므로, 자신의 카메라 해상도와 GPU에서 다시 벤치마크해야 합니다.
인스턴스 분할 쪽에서는 YOLO11 대비 COCO에서 최대 2.5 box AP, 3.7 mask AP 향상을 보고했다고 설명합니다. 이 역시 모델 제작사가 공개한 비교 결과입니다. 현장에 적용할 때는 공개 데이터셋 수치보다 대상 물체의 크기, 조명, 가림, 카메라 각도, 사용자 데이터로 미세조정했을 때의 재현율을 우선 확인하는 것이 좋습니다.
어떤 작업에 맞나
| 상황 | 먼저 볼 모델 | 이유 |
|---|---|---|
| 텍스트나 예시로 새로운 물체를 찾아야 함 | SAM 3 | 프롬프트 기반 검출·분할·추적 |
| 고정된 제품군을 실시간으로 검출해야 함 | YOLO26 | 크기별 모델과 배포·학습 도구 제공 |
| 물체의 외곽선 또는 영역이 필요함 | SAM 3 또는 YOLO26-seg | 범용 프롬프트와 전용 분할 헤드 중 선택 |
| 엣지 장치에서 지연 시간을 줄여야 함 | YOLO26의 작은 모델부터 검증 | n/s/m 등 크기별 비교가 쉬움 |
정리하면 SAM 3는 “무엇을 찾을지”를 자연어와 예시로 바꾸면서 분할·추적까지 이어가는 모델이고, YOLO26은 반복적인 현장 검출과 여러 비전 작업을 배포하기 쉽게 묶은 모델군입니다. 둘 중 하나가 모든 상황에서 더 좋다고 단정하기보다, 프롬프트 유연성이 필요한지, 고정 클래스의 속도와 재현성이 필요한지부터 정하는 것이 순서입니다.
모델을 실제 데이터에 적용할 때는 AI가 알려준 답변을 검증하는 5단계에서 다룬 검증 습관처럼, 공식 벤치마크와 자신의 테스트 결과를 구분해 기록하는 것이 좋습니다.
출처
- Meta AI, Introducing Meta Segment Anything Model 3 — 2026년 9월 확인
- Meta, facebookresearch/sam3 공식 저장소 — 2026년 9월 확인
- Ultralytics, YOLO26 공식 문서 — 2026년 1월 출시 안내 및 2026년 9월 확인
이 글의 성능 수치는 각 모델 제작사가 공개한 벤치마크입니다. 실제 적용 전에는 대상 데이터, 입력 크기, 하드웨어, 정밀도 설정을 고정해 별도 테스트해야 합니다.