1 juni 2026
NVIDIA heeft op GTC Taipei (31 mei 2026) Cosmos 3 gelanceerd, een open foundation model voor physical AI dat visueel redeneren, wereldsimulatie en actievoorspelling combineert in één systeem. Cosmos 3 is het eerste volledig open omnimodel dat native tekst, afbeeldingen, video, omgevingsgeluid en acties kan begrijpen en genereren, getraind op 20 biljoen tokens aan multimodale data. Het model is beschikbaar in twee formaten (Super met 32B parameters en Nano met 8B parameters) en richt zich op ontwikkelaars van robots, autonome voertuigen en vision AI-agents.
Wat is NVIDIA Cosmos 3 en wat kan het?
Cosmos 3 verandert fundamenteel hoe physical AI-systemen worden gebouwd. Eerdere versies van het Cosmos-platform bestonden uit losse modellen voor wereldgeneratie (Cosmos Predict), gestuurde generatie (Cosmos Transfer), scènebegrip (Cosmos Reason) en beleidsgeneratie (Cosmos Policy). Cosmos 3 bundelt al deze mogelijkheden in één omnimodel.
Het model is gebouwd op een nieuwe Mixture-of-Transformers (MoT)-architectuur met twee towers. De Reasoner-tower is een vision-language model dat multimodale observaties (afbeeldingen, video, tekst) interpreteert via een autoregressieve architectuur, gericht op het begrijpen van beweging, objectinteracties en ruimtelijk-temporele relaties. De Generator-tower gebruikt een diffusieproces om fysisch realistische video en actie-outputs te produceren op basis van het begrip van de Reasoner. Cosmos 3 kan worden ingezet als vision language model dat over modaliteiten redeneert, als wereldmodel dat fysieke omgevingen simuleert en toekomstige toestanden voorspelt, of als basis voor world action models die robots specifieke taken aanleren.
Benchmarks en technische specificaties van Cosmos 3
NVIDIA brengt Cosmos 3 uit in twee modelformaten. Cosmos 3 Super is de 32B-parametervariant (32B reasoner + 32B generator), ontworpen voor datacenterinzet op NVIDIA Hopper- en Blackwell-GPU’s, gericht op grootschalige synthetische datageneratie en geavanceerde fysische redeneertaken. Cosmos 3 Nano is de 8B-parametervariant (8B reasoner + 8B generator), geoptimaliseerd voor efficiënte inferentie op workstationhardware zoals de NVIDIA RTX PRO 6000. Een derde variant, Cosmos 3 Edge, volgt binnenkort voor real-time inferentie op edge-apparaten.
NVIDIA trainde Cosmos 3 op 20 biljoen tokens aan multimodale data, waaronder bijna een miljard afbeeldingen, 400 miljoen echte en synthetische video’s, omgevingsaudio, tekst en actiedata van mensen en robots. Onder open modellen staat Cosmos 3 op de eerste plaats op Artificial Analysis, Physics-IQ, PAI-Bench en R-Bench voor wereldgeneratie, op RoboLab en RoboArena voor actiebeleid, en op VANTAGE-Bench en TAR voor visueel begrip. Cosmos 3 Super leidt in de 32B-klasse op VANTAGE-Bench, terwijl Cosmos 3 Nano de 8B-klasse aanvoert.
Wat is er veranderd ten opzichte van eerdere Cosmos-modellen?
De belangrijkste verandering van Cosmos 2.5 naar Cosmos 3 is architecturaal. Eerdere Cosmos-versies bestonden uit aparte gespecialiseerde modellen: Cosmos Predict voor wereldsimulatie, Cosmos Transfer voor gestuurde generatie, Cosmos Reason voor scènebegrip en Cosmos Policy voor robotactiegeneratie. Ontwikkelaars moesten meerdere modellen en inferentiepipelines beheren, wat complexiteit en latentie toevoegde.
Cosmos 3 vervangt die gefragmenteerde aanpak door één geünificeerd model dat redeneren, genereren en actievoorspelling samenvoegt. Volgens NVIDIA verkort dit trainings- en evaluatiecycli voor physical AI van maanden naar dagen. Het Cosmos-platform bevat nu ook nieuwe datasets voor robotica, fysica, menselijke beweging, autonoom rijden, magazijnveiligheid en ruimtelijk redeneren, plus nieuwe agent-skills voor neurale scènereconstructie, defectbeeldgeneratie en videoaugmentatie.
Cosmos Coalition en vroege gebruikers
Naast de modellancering kondigde NVIDIA de Cosmos Coalition aan, een samenwerking tussen bouwers van wereldmodellen en AI-ontwikkelaars, waaronder Agile Robots, Black Forest Labs, Generalist, LTX, Runway en Skild AI. Coalitieleden dragen modellen, onderzoek en evaluatietechnieken bij en maken gebruik van Cosmos 3-technologieën en NVIDIA DGX Cloud-infrastructuur voor grootschalige training.
Physical AI-ontwikkelaars die al op het Cosmos-platform bouwen zijn onder meer Agile Robots, Doosan Robotics, LG Electronics, Samsung en Skild AI (robotica), Li Auto (autonome voertuigen), en Centific, Fogsphere, Linker Vision, Milestone Systems en Yuan (vision AI-agents voor industriële en smart spaces-toepassingen).
Beschikbaarheid en licentie van NVIDIA Cosmos 3
Cosmos 3 Super en Cosmos 3 Nano zijn per direct beschikbaar. Ontwikkelaars kunnen Cosmos 3 uitproberen op build.nvidia.com, open modelgewichten downloaden van Hugging Face, en modellen aanpassen met Hugging Face Diffusers en bronnen op GitHub. De modellen kunnen ook worden ingezet als NVIDIA NIM-microservices. Cloudinfrastructuurpartners zijn onder meer Baseten, CoreWeave, Microsoft Azure, Nebius, Deep Infra en Classmethod.
Cosmos 3 wordt uitgebracht onder de NVIDIA Open Model License, die commercieel gebruik toestaat en ontwikkelaars de mogelijkheid geeft afgeleide modellen te maken en te verspreiden. NVIDIA claimt geen eigenaarschap over outputs die met Cosmos 3 of afgeleiden worden gegenereerd. Trainingsscripts, deployment-tools en de datasets waarmee Cosmos 3 is getraind zijn allemaal als open source beschikbaar op GitHub.
NVIDIA Cosmos 3 werd aangekondigd door Jensen Huang tijdens zijn keynote op GTC Taipei, onderdeel van Computex 2026.
De volledige aankondiging en technische documentatie zijn beschikbaar op de NVIDIA Newsroom en de NVIDIA Cosmos-ontwikkelaarspagina.
