Gepubliceerd 15 september 2026
Ant Group publiceerde op 14 september 2026 27 nieuwe SingProbe-checkpoints, waarmee de guardrail op tokenniveau nu werkt met 29 open modellen, waaronder DeepSeek, Qwen, GLM, Llama, gemma-4 en gpt-oss van OpenAI. Elke probe telt tussen de 2,23 en 12,06 miljoen parameters, ongeveer een duizendste van de guardmodellen met 8 miljard parameters waartegen hij wordt afgezet, en volgens Ant kost hij minder dan 0,5% extra decodeertijd. Het addertje: in de modelkaart van Ant staat dat de serveercode alleen nog op de Ling-3.0-modellen draait.
Wat doet SingProbe?
De meeste veiligheidsfilters zijn een tweede model. Je genereert een antwoord en stuurt dat naar een apart guardmodel dat het leest en bepaalt of het veilig is. Dat kost een volledige extra inferentieronde, en het oordeel komt pas als het antwoord al af is.
SingProbe pakt het anders aan. De probe hangt aan drie lagen binnen het model dat je toch al draait en leest daar de hidden states uit, de tussenwaarden die een model produceert terwijl het schrijft. Voor elk token geeft hij tien scores: zeven risicocategorieën voor de vraag van de gebruiker, een voor een veilige vraag, een voor de vraag of het antwoord tot nu toe onveilig is, en een voor de vraag of het model iets verzint.
Omdat het basismodel het zware werk al heeft gedaan, kost de probe vrijwel niets. Ant mat tussen de 0,18% en 0,45% extra tijd per token op Ling-3.0-flash. Praktisch gezien kun je daardoor een onveilig antwoord stoppen terwijl het wordt geschreven, in plaats van het achteraf te blokkeren.
- Omvang van de familie: 29 checkpoints, waarvan 27 gepubliceerd op 14 september 2026
- Grootte van de probe: 2,23 miljoen parameters op Qwen3-0.6B tot 12,06 miljoen op GLM-5.3
- Nieuw ondersteunde basismodellen zijn onder meer DeepSeek-V4-Flash-0731, GLM-5.2, GLM-5.3, gpt-oss-20b, gpt-oss-120b, drie gemma-4-varianten, Llama-3.1-8B, MiniMax-M2.7, Step-3.7-Flash, Tencent Hy3 en elf Qwen-varianten tot en met Qwen3.5-397B-A17B
- Licentie: elke probe erft de licentie van het model waaraan hij hangt, dus Apache 2.0 voor de Qwen- en gemma-4-probes en MIT voor die van DeepSeek
- Trainingscode: staat op GitHub, zonder enig licentiebestand
- Technisch rapport: arXiv:2608.30703, gepubliceerd op 31 augustus 2026 onder CC BY 4.0
SingProbe-benchmarks tegenover Qwen3Guard en Llama Guard
De tabel hieronder laat niet zien dat een probe van 12 miljoen parameters ruim wint. Hij laat zien dat de probe niet duidelijk verliest van guardmodellen die honderden keren zo groot zijn.
| Wat wordt gemeten | SingProbe, beste van de 29 | Het losse alternatief |
|---|---|---|
| Schadelijke vraag herkennen (F1) | 0,8811 op DeepSeek-V4-Flash-0731 | 0,8714, YuFeng-XGuard-Reason-8B |
| Schadelijk antwoord herkennen (F1) | 0,8729 op Qwen3.5-27B | 0,8604, Qwen3Guard-Gen-8B-strict |
| Tijdens het antwoord ingrijpen (R-AUC) | 0,9905 op Qwen3.5-397B-A17B | 0,9640, Qwen3Guard-Stream-8B-strict |
| Verzonnen feit herkennen (AUC) | 0,8170 op GLM-5.3 | 0,8000, de DRIFT-probemethode |
| Grootte van de guard | 2,23 tot 12,06 miljoen parameters | 7,57 miljard, Qwen3Guard-Stream-8B |
| Extra decodeertijd | minder dan 0,5% | nog een volledige modelronde |
Alle cijfers hier komen van Ant zelf, uit de losse modelkaarten. Het technisch rapport legt de methode uit, maar evalueert slechts twee van de 29 checkpoints. Voor de andere 27 is dus geen methodologie gepubliceerd. Ant meldt daarnaast dat een deel van de concurrentiescores is overgenomen uit het eerdere SingGuard-paper en niet opnieuw is gedraaid. Het hallucinatieresultaat is het dunst van de vier: 0,8170 tegen 0,8000, zonder foutmarges en zonder significantietoets.
Wat Ant Group niet vertelt
Het grootste gat is dat de meeste van deze probes nergens op kunnen draaien. In de modelkaart van Ling-3.0-flash staat onomwonden dat de integraties met SGLang en vLLM voorlopig alleen Ling-3.0-basismodellen ondersteunen. De 27 kaarten van 14 september laten die zin weg en drukken toch een startcommando af. Draai je geen Ling-3.0, dan heeft het checkpoint dat je vandaag downloadt geen werkende runtime.
Beide integraties zijn persoonlijke forks van een van de auteurs van het paper, geen branches van de officiële SGLang of vLLM, en geen van beide is samengevoegd. De trainingscode is voor het laatst bijgewerkt op 3 september, elf dagen voordat de 27 checkpoints verschenen, dus is hij nooit voor die modellen aangepast. Er zit geen licentie bij.
Twee cijfers zijn stiller dan ze lijken. Het percentage vals alarm van 0,03% op gewone antwoorden staat identiek in alle 29 kaarten, dus is het een enkele meting op Ling-3.0-flash die 28 keer is overgenomen. En de kaarten melden vals alarm op antwoorden, maar niet op vragen, waar het eigen paper van Ant SingProbe op 0,13% zet tegen 0,06% voor Llama Guard 3. Die vergelijking is bovendien verouderd: Llama Guard 4 is sinds april 2025 beschikbaar en komt in het paper niet voor.
Wat dit betekent
Test dit nu als je zelf Ling-3.0 draait en er op dit moment een tweede guardmodel naast betaalt. Dat is een smalle groep, maar voor hen is de rekensom ongewoon helder. Je ruilt een model van 8 miljard parameters in voor een probe van 5 miljoen, houdt volgens de cijfers van Ant ongeveer dezelfde nauwkeurigheid, en krijgt een oordeel per token in plaats van per antwoord. Voor een klein team dat een interne assistent op eigen hardware draait, is dit de eerste guardrail in tijden die je inferentierekening niet zo goed als verdubbelt.
Iedereen anders kijkt beter even toe. De 27 nieuwe checkpoints zijn een intentieverklaring, geen product: zonder officiële runtime zijn het 27 bestanden die je niet kunt serveren. Let op een samengevoegde pull request in SGLang of vLLM. Komt die er, dan is een guardrail die een half procent decodeertijd kost echt interessant, en het feit dat Ant probes heeft getraind voor de modellen van concurrenten wijst erop dat het bedrijf dit de standaardmanier wil maken waarop open modellen zichzelf bewaken. Komt die er niet, dan blijft dit een paper met 29 bijlagen.
Voor meer informatie, bekijk de officiële aankondiging van SingProbe in de modelkaart van SingProbe.
