{"id":3440302,"date":"2026-07-15T10:01:29","date_gmt":"2026-07-15T08:01:29","guid":{"rendered":"https:\/\/datanorth.ai\/?p=3440302"},"modified":"2026-07-15T10:02:48","modified_gmt":"2026-07-15T08:02:48","slug":"wat-is-mixture-of-experts-moe-en-waarom-is-het-belangrijk","status":"publish","type":"post","link":"https:\/\/datanorth.ai\/nl\/blog\/wat-is-mixture-of-experts-moe-en-waarom-is-het-belangrijk","title":{"rendered":"Wat is Mixture of Experts (MoE) en waarom is het belangrijk?"},"content":{"rendered":"\n

Mixture of experts (MoE) is een neuraal netwerk-ontwerp dat voor elke input-token slechts een deel van het model activeert. Zo kan een model honderden miljarden of zelfs biljoenen parameters bevatten, terwijl per token slechts een fractie daarvan actief is. Daardoor dalen de computationele kosten zonder dat je capaciteit verliest. Voor teams die AI van prototype naar productie brengen is dit belangrijk, omdat de kosten per token en de doorvoer (throughput) vaak bepalen of een deployment levensvatbaar is. Sinds begin 2026 is MoE de standaard architectuur geworden voor frontier-modellen, zowel voor open-weight modellen als propri\u00ebtaire varianten.<\/p>\n\n\n\n

Wat is een mixture of experts-architectuur?<\/h3>\n\n\n\n

Een MoE-architectuur maakt gebruik van conditionele berekening (conditional computation): in plaats van elke parameter voor elke input uit te voeren, stuurt het elke token naar een kleine subset van gespecialiseerde subnetwerken. In traditionele dense neurale netwerken wordt elke parameter geactiveerd om elke binnenkomende token te verwerken, wat betekent dat de computationele kosten lineair schalen met de totale grootte van het model. Een MoE-framework verandert deze dynamiek door uniforme lagen (layers) te vervangen door een algoritmisch routeringsnetwerk en een verzameling afzonderlijke, parallelle subnetwerken die “experts” worden genoemd.<\/p>\n\n\n\n

Het kernidee gaat terug naar de vroege jaren 90 met Jacobs et al. (1991) over modulaire neurale netwerken. De toepassing op modern Deep Learning kwam van Shazeer et al. in een paper uit 2017, “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”<\/a>. Sparsity verdeelt de capaciteit van het model over gespecialiseerde subnetwerken, waardoor het actieve berekeningspad kort blijft terwijl brede kennis behouden blijft.<\/p>\n\n\n\n

\"mixture<\/figure>\n\n\n\n

Hoe een mixture of experts-architecturen werkt<\/h2>\n\n\n\n

Een klein routenetwerk bekijkt elke binnenkomende token en stuurt deze naar een of meer expert-subnetwerken. De routering vindt plaats op tokenniveau, zodat een enkele zin voor elk woord een andere mix van experts kan activeren.<\/p>\n\n\n\n

Het gating-netwerk en token-routering<\/h3>\n\n\n\n

Het gating-netwerk is een trainbare laag die elke expert scoort voor een gegeven token en de beste paar kiest. Wanneer een input-tensor x <\/em>aankomt bij een MoE-laag die N<\/em> experts bevat, berekent het gating-netwerk een sparse gewichtsvector G(x<\/em>). De output y<\/em> van de laag is een gewogen som van de outputs van de actieve experts:<\/p>\n\n\n\n

\"Gating<\/figure>\n\n\n\n

Hier is Ei<\/em> (x<\/em>) de output van het i<\/em>-th de expert-subnetwerk. Om sparsity af te dwingen, gebruiken engineers Top-k <\/em>gating. Bij Top-1 zet de router alle waarden in G(x<\/em>) op nul, behalve de hoogste, waardoor er precies \u00e9\u00e9n expert wordt geactiveerd. Bij Top-2 krijgen de twee hoogst scorende experts niet-nul gewichten en worden hun outputs samengevoegd. Top-2 is de gebruikelijke keuze in productiemodellen omdat het de stabiliteit behoudt zonder de berekening te verdubbelen.<\/p>\n\n\n\n

Uitvoering van sparse en dense lagen<\/h3>\n\n\n\n

Moderne MoE-modellen zijn hybriden: attention-lagen blijven dense, alleen de feed-forward-blokken worden sparse. De multi-head self-attention-mechanismen blijven volledig dense, zodat alle tokens in een sequentie onderling attention kunnen toepassen over het volledige contextvenster.<\/p>\n\n\n\n

De feed\u2011forward netwerkblokken (FFN\u2011blokken) die volgen op de attention\u2011lagen. Elke standaard FFN wordt vervangen door een blok dat meerdere parallelle FFN’s plus een router bevat. Een model met in totaal 47 miljard parameters activeert mogelijk slechts 13 miljard parameters per forward pass, omdat de router slechts een paar experts tegelijk aanroept.<\/p>\n\n\n\n

Expert-capaciteit beheren en load balancing<\/h3>\n\n\n\n

Zonder beperkingen heeft de training de neiging te bezwijken (collapse) op een paar favoriete experts. Dit gebeurt wanneer de router in het begin van de training de meeste tokens naar hetzelfde subnetwerk stuurt omdat dit lagere initi\u00eble gradi\u00ebnten oplevert. De router blijft die keuze versterken, de andere experts blijven ongetraind, en het model reduceert effectief tot een dense configuratie op een veel kleinere actieve voetafdruk (footprint).<\/p>\n\n\n\n

De oorspronkelijke oplossing was een auxilliaire load-balancing loss die werd toegevoegd aan het trainingsdoel (training objective), zoals beschreven in de GShard-architectuurdocumentatie van Google.<\/a> De auxilliaire term bestraft een ongelijkmatige token-distributie. Nieuwere architecturen zoals DeepSeek-V3 (december 2024) en de opvolger DeepSeek-V4<\/a> (april 2026) laten de auxilliaire loss volledig vallen. In plaats daarvan voegen ze dynamische bias-termen toe aan de routeringsscores: een overbelaste expert ziet zijn bias dalen, een onderbelaste ziet zijn bias stijgen. Dit balanceert de belasting zonder het gradi\u00ebntsignaal te verstoren, wat bij auxilliaire losses wel het geval kan zijn.<\/p>\n\n\n\n

Waarom mixture of experts van belang is voor enterprise AI-deployment<\/h2>\n\n\n\n

MoE ontkoppelt de kenniscapaciteit van een model van de computationele kosten per token. Voor workloads die op schaal draaien (klantenservice, interne zoekfuncties, documentverwerking) is dit het verschil tussen een economisch levensvatbare deployment en een deployment die bij elke query budget verslindt.<\/p>\n\n\n\n

Vermindering van computationele overhead<\/h3>\n\n\n\n

Google’s Generalist Language<\/a> Model-paper vatte de besparingen in cijfers samen: een sparse MoE-model evenaarde GPT-3 op het gebied van benchmark-prestaties, terwijl het ongeveer een derde van de energie verbruikte voor training en ruwweg de helft van de FLOPs bij inference. Lagere FLOPs vertalen zich in lagere elektriciteitsrekeningen en minder slijtage van hardware in productie.<\/p>\n\n\n\n

Verbetering in inference-latentie en doorvoer (throughput)<\/h3>\n\n\n\n

Omdat de router slechts een subset van gewichten per token aanroept, volgt de generatiesnelheid het aantal actieve parameters, niet het totaal. Een 47B-model met 13B actieve parameters draait op ongeveer de snelheid van een 13B dense-model.<\/p>\n\n\n\n

Experts kunnen ook worden gedistribueerd over afzonderlijke GPU’s (expert parallelism), waardoor hardware-clusters verschillende delen van een batch in parallel kunnen verwerken en de totale doorvoer (throughput) verder omhoog wordt gestuwd.<\/p>\n\n\n\n

Schaalbaarheid van het totale aantal parameters<\/h3>\n\n\n\n

Het toevoegen van meer experts vergroot de kenniscapaciteit van het model zonder het actieve berekeningspad te veranderen. Een dense model moet zijn actieve laag vergroten om meer kennis op te slaan, wat uiteindelijk stuit op de limieten van de GPU-geheugenbandbreedte en interconnect-snelheid. MoE omzeilt dat plafond: het totale aantal parameters kan schalen naar honderden miljarden of biljoenen, terwijl de berekening per token vast blijft staan. DeepSeek V4-Pro is tot nu toe het duidelijkste voorbeeld: 1,6 biljoen parameters in het geheugen, 49 miljard uitgevoerd per token, een verhouding van ongeveer 32-tot-1 tussen opgeslagen en actieve capaciteit.<\/p>\n\n\n\n

Technische vooruitgang en huidige model-implementaties<\/h2>\n\n\n\n

Sinds begin 2025 maken bijna alle toonaangevende frontier-modellen gebruik van MoE-ontwerpen. De onderstaande releases schetsen de verschuiving van een experimentele architectuur naar de industriestandaard.<\/p>\n\n\n\n

Mixtral 8x7B naar Mistral Large 3<\/h3>\n\n\n\n

Uitgebracht in december 2023 door Mistral AI, was Mixtral 8x7B de open-weights release die MoE mainstream maakte: 46,7B in totaal, 12,9B actief via Top-2 routing, Apache 2.0. Het evenaarde of versloeg de dense Llama 2 70B op MMLU en GSM8K, terwijl het ongeveer zes keer sneller draaide.<\/p>\n\n\n\n

Mistral’s huidige MoE-vlaggenschip is Mistral Large 3, uitgebracht op 2 december 2025: 41B actieve parameters van de 675B in totaal, 256K contextvenster, Apache 2.0. Daarnaast bevat Mistral Small 4 in totaal 119B parameters met ongeveer 6B actief per token via MoE, waardoor het een van de goedkoopste multimodale modellen in productiegerelateerd gebruik is. De architecturale rode draad van Mixtral naar Large 3 is hetzelfde Mistral-patroon: de verhouding tussen actief en totaal verhogen, terwijl de licentie laagdrempelig (permissive) blijft.<\/p>\n\n\n\n

Llama 4 en Meta’s overstap naar sparse<\/h3>\n\n\n\n

Meta stapte over van dense naar MoE met de release van Llama 4 in april 2025. Scout activeert 17B parameters van de 109B in totaal over 16 experts met een contextvenster van 10M tokens. Maverick activeert 17B van de 400B in totaal over 128 experts met een contextvenster van 1M tokens. Een groter model, Behemoth, werd aangekondigd maar niet uitgebracht. De stap is minder van belang voor een specifieke benchmark, maar dient meer als een signaal: wanneer de grootste open-weights uitgever dense-architecturen achter zich laat, is MoE de standaard geworden.<\/p>\n\n\n\n

DeepSeek-V4 en geavanceerde routering<\/h3>\n\n\n\n

DeepSeek-V4, uitgebracht als preview op 24 april 2026, is het huidige vlaggenschip en de meest agressieve demonstratie van MoE-schaling tot nu toe. Het is verkrijgbaar in twee varianten:<\/p>\n\n\n\n