Beeldsegmentatie is een taak binnen computer vision die een afbeelding pixel voor pixel labelt. In plaats van te benoemen wat een foto toont of een kader rond een object te tekenen, markeert het precies welke pixels bij welk object of gebied horen. Met die precisie kan software vormen, oppervlaktes en randen meten.
Neem een bestralingsplan. Een kader rond een tumor op een CT-scan is niet genoeg, want de behandeling moet de omtrek van de tumor volgen en het weefsel ernaast sparen. Een webshop heeft hetzelfde probleem op kleinere schaal: om een mok op een witte achtergrond te zetten, heeft software de exacte rand nodig, inclusief het oor.
Deze gids behandelt de soorten segmentatie, hoe het werkt, welke modellen je in november 2026 test en hoe je de resultaten beoordeelt. Hij bouwt voort op onze inleidingen over computer vision en objectdetectie.
Belangrijkste punten
- Segmentatie geeft je een masker per object of gebied, zodat je oppervlakte en vorm kunt meten. Detectie geeft alleen een kader.
- Geen enkel model wint overal. SAM 3 past bij prompten, YOLO26 en RF-DETR passen bij realtime werk, nnU-Net past bij medische scans, en hun licenties verschillen sterk.
- Een masker dat er goed uitziet, kan toch fout zijn. Test het daarom tegen menselijke maskers op je eigen beelden.
Wat is beeldsegmentatie?
Beeldsegmentatie deelt een afbeelding op in gebieden door elke pixel toe te wijzen aan een klasse, een object of de achtergrond. Het resultaat is een masker: een kaart zo groot als de afbeelding waarin elke pixel een label heeft. Een binair masker markeert elke pixel bijvoorbeeld als “mok” of “geen mok”.
Neem een productfoto van drie mokken op een houten tafel, waarvan er twee elkaar raken. Beeldclassificatie vertelt je of er een mok op de foto staat, met één label voor de hele afbeelding. Objectdetectie vertelt je hoeveel mokken er zijn en waar, met een kader en een betrouwbaarheidsscore per mok. Segmentatie vertelt je welke pixels mok zijn, zodat software elke mok kan uitsnijden of meten.
Kaders zijn grof: een kader rond een schuine scheur bestaat grotendeels uit iets anders dan scheur. Segmentatie is de extra kosten waard als het antwoord afhangt van oppervlakte, vorm of een exacte rand. Volstaat een aantal of een positie, dan is detectie goedkoper.
Welke soorten beeldsegmentatie zijn er?
De drie hoofdsoorten zijn semantische segmentatie, instance segmentation en panoptische segmentatie. Ze verschillen in de vraag of ze objecten van elkaar scheiden en de achtergrond labelen.
Semantische segmentatie
Semantische segmentatie geeft elke pixel een klasse, zoals mok, tafel of muur, maar maakt geen onderscheid tussen objecten van dezelfde klasse. De twee rakende mokken smelten samen tot één gebied. Dat is prima als je hoeveelheden nodig hebt, zoals het deel van een akker dat met onkruid bedekt is.
Instance segmentation
Instance segmentation geeft elk object een eigen masker, zodat mok 1, 2 en 3 gescheiden blijven. De achtergrond blijft meestal ongelabeld. Gebruik het als je losse objecten wilt tellen, meten of volgen.
Panoptische segmentatie
Panoptische segmentatie doet beide: elke pixel krijgt een klasse en elk telbaar object krijgt daarnaast een ID. Het artikel dat de taak introduceerde noemt telbare objecten “things” en vormloze gebieden zoals lucht of weg “stuff”. Een robot heeft precies die combinatie nodig: de vloer plus elke afzonderlijke persoon.
| Soort | Uitkomst | In de foto met mokken | Typische toepassing |
|---|---|---|---|
| Semantisch | Een klasse voor elke pixel | Rakende mokken smelten samen tot één gebied | Wegdek, landgebruik, weefseltypen |
| Instance | Een apart masker per object | Drie losse mokken; achtergrond genegeerd | Producten tellen en meten |
| Panoptisch | Een klasse voor elke pixel, plus een ID per object | Drie losse mokken, plus tafel en muur | Rij- en robotscènes |
Waar passen promptable en open-vocabulary segmentatie?
Deze twee termen beschrijven hoe je om een masker vraagt, niet wat voor kaart je terugkrijgt. Een promptable model segmenteert wat je aanklikt of omkadert, een aanpak die de Segment Anything-modellen van Meta populair maakten. Een open-vocabulary model accepteert een begrip in tekst, zoals “red mug”, in plaats van een vaste lijst zoals de 80 klassen van de openbare COCO-dataset. SAM 3 van Meta combineert beide in wat Meta promptable concept segmentation noemt: je noemt een begrip en het model geeft voor elke match een eigen masker.
Hoe werkt beeldsegmentatie?
Een segmentatieproject verloopt in vijf stappen, en de modelkeuze is er maar één van.
- Verzamel beelden die de echte omstandigheden weerspiegelen, zoals je camera’s en verlichting.
- Annoteer voorbeelden door maskers of polygonen te tekenen. Dat is traag werk: voor de Cityscapes-dataset met straatbeelden kostte fijne annotatie gemiddeld meer dan 1,5 uur per beeld.
- Kies een voorgetraind model, of finetune er een op je eigen gelabelde beelden.
- Genereer maskers op nieuwe beelden en schoon ze op, bijvoorbeeld door kleine fragmenten te verwijderen.
- Evalueer tegen menselijke maskers op onbekende beelden en train daarna opnieuw met de lastige gevallen.
Welke architecturen zitten achter de modellen?
Convolutionele neurale netwerken (CNN’s) schuiven kleine filters over een afbeelding en zijn sterk in lokaal detail. Encoder-decoder-netwerken comprimeren een afbeelding tot kenmerken en zetten die daarna terug naar volledige resolutie om elke pixel te labelen. U-Net, in 2015 gepubliceerd voor biomedische beelden, is het klassieke voorbeeld.
Transformers gebruiken attention om elk deel van een afbeelding te relateren aan elk ander deel. Mask transformers zoals Mask2Former voorspellen een set gelabelde maskers, zodat één ontwerp alle drie de soorten aankan. Foundation models zoals SAM 3 leren van enorme, brede datasets en hebben weinig of geen extra training nodig.
Wat is het verschil tussen automatische en geprompte maskers?
Een automatisch model segmenteert in elk beeld een vaste set klassen, zonder input van jou. Een YOLO26-model dat op COCO is getraind, omlijnt bijvoorbeeld elke persoon, auto of kop die het herkent. Een geprompt model wacht op een instructie, en welke prompts werken, verschilt per model. SAM 2 accepteert punten, kaders en maskers, terwijl SAM 3 daar korte tekstfrasen en voorbeeldafbeeldingen aan toevoegt. Volgens Meta kan SAM 3 lange omschrijvingen zoals “het op een na laatste boek van rechts op de bovenste plank” niet aan zonder hulp van een multimodaal taalmodel.
Wat zijn de beste modellen voor beeldsegmentatie in 2026?
Er is niet één beste model voor beeldsegmentatie. De juiste keuze hangt af van je taak, data, gewenste nauwkeurigheid, snelheid, hardware en licentie. De tabel vergelijkt acht opties, gecontroleerd op 12 november 2026. Elke modelfamilie levert meestal meerdere checkpoints, de downloadbare gewichtenbestanden, in verschillende formaten.
| Model en versie | Taak en input | Het meest geschikt voor | Belangrijkste sterke punten | Beperkingen en rekenkracht | Licentie |
|---|---|---|---|---|---|
| SAM 3 en 3.1 (Meta; nov. 2025, mrt. 2026) | Promptable instance segmentation en tracking; tekst, voorbeelden, punten, kaders | Annoteren, prototypes, video | Vindt elk exemplaar van een benoemd begrip zonder training | 3,45 GB; vraagt een sterke GPU; zwak op nichebegrippen tot je finetunet | SAM License: commercieel gebruik toegestaan, sommige toepassingen uitgesloten |
| SAM 2.1 (Meta; sept. 2024) | Promptable; punten, kaders, maskers; video | Klik-en-segmenteertools, video tracking | Lichter dan SAM 3; breed geïntegreerd | Geen tekstprompts; één object per prompt | Apache 2.0 |
| Mask2Former (Meta; 2022) | Semantisch, instance en panoptisch; vaste klassen | Eén model trainen op je eigen klassen | Eén architectuur voor alle drie de taken | Repository sinds januari 2025 gearchiveerd; niet realtime | Grotendeels MIT |
| EoMT (TU Eindhoven en partners; 2025) | Semantisch, instance en panoptisch; vaste klassen | Universele segmentatie met meer snelheid | Gewone vision transformer; volgens de auteurs tot 4x sneller | Vraagt een grote backbone en een GPU; onderzoekscode | Code MIT; controleer de backbonegewichten |
| SegFormer (NVIDIA; 2021) | Semantisch; vaste klassen | Lichte semantische modellen, onderzoek | Efficiënte formaten B0 tot B5; in Hugging Face Transformers | Alleen semantisch; ouder ontwerp | Officiële code en gewichten zijn niet-commercieel |
| YOLO26-seg (Ultralytics; jan. 2026) | Instance; 80 COCO-klassen | Realtime en edge-gebruik | Nano-model is 6,4 MB; eenvoudige export | Nieuwe klassen vragen gelabelde data | AGPL-3.0 of een betaalde licentie |
| RF-DETR-Seg (Roboflow; jan. 2026) | Instance; COCO-klassen | Realtime gebruik met een permissieve licentie | Zes formaten; DINOv2-backbone | Benchmarks door de leverancier zelf gemeten; groter dan YOLO-nanomodellen | Apache 2.0 |
| nnU-Net v2 (DKFZ) | Semantisch; 2D en 3D; per dataset getraind | Medische en specialistische beelden | Stemt zichzelf af op je data | Vraagt gelabelde data en trainingstijd | Apache 2.0 |
Wat zijn de belangrijkste afwegingen?
Vier afwegingen bepalen de meeste keuzes.
- Geprompt of automatisch. SAM 3 heeft een prompt nodig, maar geen training voor veelvoorkomende begrippen. Automatische modellen hebben gelabelde voorbeelden nodig en draaien daarna zonder toezicht.
- Grootte en snelheid. In een benchmark van Ultralytics op één RTX PRO 6000-GPU deed SAM 3 2.921 milliseconden over een beeld en YOLO26n-seg 8,4 milliseconden. Ultralytics maakt YOLO, dus zie dit als een test van de leverancier. Meta meldt 30 milliseconden voor SAM 3 op een eigen H200-opstelling, wat laat zien hoeveel instellingen uitmaken.
- Licentie. Apache 2.0 en MIT staan commercieel gebruik toe onder weinig voorwaarden. AGPL-3.0 verplicht je je project open source te maken, tenzij je een commerciële licentie koopt, en SAM 3 heeft een eigen SAM License. Controleer code en gewichten apart.
- Voorgetraind of domeinspecifiek. Volgens Meta heeft SAM 3 moeite met nichebegrippen in medische of wetenschappelijke beelden, maar past het zich snel aan na finetunen op een kleine gelabelde set. In een benchmark op MICCAI 2024 evenaarden of versloegen goed ingestelde CNN-U-Nets in nnU-Net nog steeds nieuwere ontwerpen op medische 3D-scans.
Met welk model begin je?
Begin bij de taak, niet bij een ranglijst.
- Voor annoteren en uitsnijden begin je met SAM 3. Kies SAM 2.1 als je Apache 2.0 of minder rekenkracht nodig hebt.
- Voor realtime instance segmentation op camera’s of edge-apparaten test je YOLO26-seg en RF-DETR-Seg. Kies RF-DETR als AGPL-3.0 een probleem is.
- Voor medische beelden train je nnU-Net op je eigen scans en gebruik je SAM om het labelen te versnellen.
- Voor semantische of panoptische scènes zoals wegen of landgebruik finetune je Mask2Former of EoMT op je eigen klassen.
Reken op finetunen als je beelden afwijken van openbare datasets, zoals röntgenfoto’s of je eigen productielijn.
Hoe gebruik je beeldsegmentatie in de praktijk?
Segmentatie loont waar een beslissing afhangt van een exacte oppervlakte, vorm of rand. Het masker is een input: de diagnose, meting of actie volgt later.
Medische beeldvorming
CT- en MRI-scans worden maskers van organen, bloedvaten of tumoren, zodat je volumes meet in plaats van schat. TotalSegmentator, gebouwd op nnU-Net, segmenteert 104 anatomische structuren in CT en haalde een Dice-score van 0,943 op de testset. Een masker is echter geen diagnose, en klinische software valt meestal onder de Europese regels voor medische hulpmiddelen (MDR).
Autonoom rijden en robotica
Camerabeelden worden kaarten van weg, rijstroken en elke voetganger, waarmee planningssoftware een route kiest. Nacht, regen en zeldzame situaties blijven lastig, dus segmentatie is één input naast andere.
Inspectie in de productie
Beelden van de productielijn worden maskers van krassen, scheuren of ontbrekende coating. Software toetst vervolgens de oppervlakte of lengte van elk defect aan een tolerantie. Defecten zijn zeldzaam, dus voorbeelden zijn schaars, en stabiele verlichting weegt vaak zwaarder dan het model.
Landbouw en satellietbeelden
Drone- en satellietbeelden worden maskers van gewassen, onkruid, percelen of gebouwen voor oppervlaktestatistieken en gericht spuiten. Eén satellietpixel kan meerdere meters beslaan, waardoor kleine objecten verdwijnen.
E-commerce en creatieve bewerking
Een productfoto wordt een masker voor het verwijderen van de achtergrond of voor effecten op één object. Meta gebruikt SAM 3 voor de functie View in Room op Facebook Marketplace, waarmee kopers een lamp of tafel in hun eigen kamer kunnen bekijken. Glas, haar en glimmende verpakkingen geven nog steeds rafelige randen.
Videoanalyse en object tracking
Video wordt een masker per object per frame, zo gekoppeld dat elk object zijn identiteit houdt. Volgens Meta volgt SAM 3.1 tot 16 objecten in één doorgang, wat de doorvoer verdubbelt tot 32 frames per seconde op één H100-GPU bij een gemiddeld aantal objecten. Identiteiten kunnen nog steeds wisselen als objecten achter elkaar langs gaan.
Hoe begin je met beeldsegmentatie?
Begin door een voorgetraind model te testen op een handvol eigen beelden. De route hangt af van je rol.
Voor niet-technische gebruikers
Met de Segment Anything Playground van Meta upload je een afbeelding of video en probeer je SAM-modellen in de browser. Annotatietools zoals CVAT hebben SAM 2 en SAM 3 in hun editor ingebouwd, met beperkte gratis versies. Controleer de voorwaarden voordat je vertrouwelijke beelden naar een van beide uploadt.
Voor developers
Het Ultralytics-pakket draait YOLO26-seg en SAM 3, Hugging Face Transformers ondersteunt SAM 3, EoMT en SegFormer, en het rfdetr-pakket van Roboflow draait RF-DETR-Seg. Deze regels draaien YOLO26-seg op een foto:
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt") # voorgetraind op COCO
results = model("drie-mokken.jpg") # instance segmentation uitvoeren
print(results[0].masks.data.shape) # één masker per gevonden object
results[0].show() # de maskers bekijken
COCO kent geen klasse “mug”, dus het model noemt de mokken “cup”: een eerste les in modellen met een vaste set klassen. Het Ultralytics-pakket valt onder AGPL-3.0.
Voor teams met specialistische data
Verzamel beelden van elke camera, dienst en elk type defect, en houd beelden van andere dagen apart om te testen. Schrijf een korte labelhandleiding en laat daarna een model conceptmaskers maken die mensen corrigeren. Het TotalSegmentator-team trainde zijn model opnieuw na 5, 20 en 100 gecorrigeerde patiënten om het labelen te versnellen. Vergelijk elk gefinetuned model met een voorgetrainde basislijn.
Stappenplan: hoe snijd je een productfoto uit?
- Kies een tool. Een browsertool met een SAM-model volstaat voor een paar beelden, terwijl een hele catalogus om een script vraagt.
- Laad de foto met de mokken en klik op de mok die je wilt. Klik ook op het oor als het masker dat mist, of zet een negatieve klik op een buurmok die meeloopt. Met SAM 3 kun je ook het Engelse begrip “mug” typen.
- Bekijk het masker volledig ingezoomd, vooral het gat in het oor, reflecties, de schaduw en het punt waar twee mokken elkaar raken.
- Herstel fouten met extra klikken of door de omtrek aan te passen.
- Exporteer een zwart-wit PNG-masker, een transparante PNG voor de webshop of COCO JSON voor trainingsdata.
Hoe beoordeel je de resultaten van segmentatie?
Vergelijk de maskers van het model met zorgvuldige menselijke maskers op beelden die het model nooit heeft gezien, met een maatstaf die bij de taak past. Een overtuigend masker kan juist fout zitten waar precisie telt.
Vier maatstaven dekken de meeste projecten. Elke maatstaf past bij een andere soort segmentatie.
| Maatstaf | Wat het meet | Geschikt voor |
|---|---|---|
| IoU en mean IoU | Overlap gedeeld door de gecombineerde oppervlakte; mean IoU middelt over klassen | Semantische segmentatie |
| Dice-score | Twee keer de overlap gedeeld door beide oppervlaktes; nooit lager dan IoU | Medische beeldvorming |
| Mask AP | Gevonden en goed omlijnde objecten, over betrouwbaarheids- en overlapdrempels | Instance segmentation |
| Panoptic quality | Herkenning en maskerkwaliteit voor things en stuff samen | Panoptische segmentatie |
De keuze verandert het getal. Beslaat een tumor 1.000 pixels en voorspelt het model er 1.000, waarvan 800 overlappen, dan is de IoU 0,67 en de Dice-score 0,80. Het is hetzelfde masker met een andere score, dus vergelijk altijd appels met appels. Voor mask AP neemt COCO het gemiddelde over tien overlapdrempels van 0,50 tot 0,95. Het raamwerk Metrics Reloaded helpt je een maatstaf te kiezen.
Welke fouten moet je vermijden?
- Dunne structuren. Een verschuiving van één pixel kost een scheur van drie pixels breed een groot deel van zijn IoU, en verkleinen kan hem helemaal wissen.
- Overlap. Objecten die elkaar raken, smelten samen of vallen in stukken uiteen, dus controleer ook het aantal objecten.
- Kleine objecten of weinig contrast. Rapporteer scores per objectgrootte, want gemiddelden verbergen deze missers.
- Domain shift. Een nieuwe camera, scanner of verlichting kan de nauwkeurigheid flink verlagen, wat de benchmark ook zegt.
- Kwaliteit van annotaties. Toen het Cityscapes-team 30 beelden twee keer annoteerde, kreeg 96 procent van de pixels hetzelfde label, dus controleer hoe goed je eigen annotatoren overeenstemmen.
- Hardware. Grote promptable modellen vragen een sterke GPU, en de kosten van video groeien met elk gevolgd object. Zie onze vergelijking van cloud, edge en lokale AI.
- Privacy. Scans, gezichten en kentekens zijn persoonsgegevens, en gezondheidsgegevens krijgen onder de AVG extra bescherming. Verwerk beelden bij voorkeur lokaal.
Een masker met een IoU van 0,9 kan nog steeds een marge afsnijden die ertoe doet, of een schaduw meenemen die de gemeten oppervlakte van een defect verdubbelt. Leg de norm vast in je eigen eenheden, zoals millimeters, en test op achtergehouden beelden van andere dagen of locaties.
Veelgestelde vragen over beeldsegmentatie
Is beeldsegmentatie hetzelfde als achtergrond verwijderen?
Achtergrond verwijderen is één toepassing van beeldsegmentatie. Een binair masker scheidt het onderwerp van de achtergrond, waarna de achtergrondpixels transparant worden. Segmentatie kan veel meer, zoals meerdere objecten scheiden, elk gebied labelen of oppervlaktes meten. Elke tool die achtergronden verwijdert, gebruikt segmentatie, maar niet elke segmentatietaak gaat over achtergronden.
Wat is het verschil tussen deep learning en klassieke methoden zoals thresholding?
Klassieke methoden zoals thresholding, randdetectie en watershed verdelen een beeld op basis van helderheid, kleur of randen. Ze zijn snel, hebben geen trainingsdata nodig en werken goed onder vaste verlichting, zoals een donker onderdeel op een lichte transportband. Deep learning-modellen leren hoe objecten eruitzien en kunnen daardoor beter omgaan met schaduwen, rommel en variatie.
Welke resolutie hebben segmentatiemodellen nodig?
De meeste modellen schalen elk beeld eerst naar een vaste invoergrootte. RF-DETR-Seg werkt bijvoorbeeld met 312 × 312 pixels bij het kleinste checkpoint en 768 × 768 bij het grootste. Een klein defect op een grote foto houdt dan maar een paar pixels over, dus snijd grote beelden bij of verdeel ze in tegels voordat je ze segmenteert.
Kan beeldsegmentatie op een telefoon of zonder GPU draaien?
Compacte segmentatiemodellen kunnen zonder GPU draaien. YOLO26 is gebouwd voor edge-apparaten en exporteert naar formaten die op CPU’s en edge-hardware draaien. Grote promptable modellen zoals SAM 3 hebben wel een sterke GPU nodig. Meet de snelheid op het apparaat dat je echt gaat gebruiken, want op een CPU is hetzelfde model meestal trager.
Hoe lang duurt het om een segmentatiemodel te trainen?
Trainen duurt van uren tot dagen, afhankelijk van modelgrootte, resolutie en hoeveelheid data. De makers van EoMT melden ongeveer zes uur op vier NVIDIA H100-GPU’s voor één COCO-configuratie. Een voorgetraind model finetunen op een kleine dataset gaat meestal veel sneller, maar het tekenen van de maskers kan langer duren dan de training zelf.
Wat kost een project voor beeldsegmentatie?
Het model is zelden de grootste kostenpost. Annotatie, integratie met je eigen systemen, rekenkracht en onderhoud wegen meestal zwaarder. Het precieze bedrag hangt af van het aantal klassen, de gewenste nauwkeurigheid en hoe vaak je beelden veranderen. Begin met een pilot op bestaande beelden en een voorgetraind model, zodat je de rest op echte cijfers begroot.
Waar begin je met beeldsegmentatie?
Beeldsegmentatie maakt van beelden metingen. Kies één toepassing waarin een oppervlakte, vorm of rand een beslissing stuurt. Test een voorgetraind model op een paar dozijn representatieve beelden en meet de maskers tegen zorgvuldige menselijke maskers. Het computer vision-team van DataNorth helpt je de haalbaarheid te beoordelen en een kleine pilot uit te voeren.