Over NIZO
NIZO, in 1948 opgericht door de Nederlandse zuivelindustrie, is een onafhankelijke contractonderzoeksorganisatie op het gebied van voeding en gezondheid, gevestigd in Ede. Ruim 100 wetenschappers en ondersteunende medewerkers werken aan eiwitten, fermentatie, voedselveiligheid en het opschalen van processen, onder meer in de grootste food grade pilot plant van Europa die beschikbaar is voor gebruik door derden.
De uitdaging: acht decennia kennis achter een zoekbalk die niets vindt
Sinds 1948 heeft NIZO een omvangrijk archief van onderzoeksrapporten opgebouwd, inmiddels gedigitaliseerd in SharePoint. De standaardzoekfunctie bleek echter onvoldoende. Door ontbrekende trefwoorden en inconsistente zoektermen bleef waardevolle kennis verborgen.
NIZO wilde één eenvoudige zoekingang die vragen in vrije tekst verwerkt en documenten rangschikt van meest naar minst relevant, zodat ook nieuwe medewerkers eerder werk kunnen vinden. Naast het terugvinden van een specifiek rapport wilde NIZO ook een ontdekfunctie die laat zien hoe het onderzoek met elkaar samenhangt. Nieuwere AI-technieken zijn goed geschikt om die verbanden zichtbaar te maken, bijvoorbeeld via een grafische verkenner van het archief. NIZO zocht een partner die eerst kon aantonen welke retrievaltechniek past bij een archief vol specialistische terminologie uit acht decennia, in plaats van direct een systeem te bouwen.
De oplossing: twee technieken vergeleken, één verder uitgewerkt
DataNorth AI bouwde de oplossing in korte sprints, samen met een projectgroep van vijf NIZO-medewerkers uit onderzoek en business development. De kracht van de aanpak zat in de keuze om twee retrievaltechnieken naast elkaar te bouwen en te beoordelen voordat er één verder werd ontwikkeld, in nauw overleg met Eric Hester, Bioinformatics Lead bij NIZO.
De aanpak bestond uit:
- Vergelijking van twee technieken: Zowel GraphRAG als een rerank-aanpak werd gebouwd en geëvalueerd. De keuze viel op de rerank-aanpak vanwege de aanzienlijk lagere initiële kosten en de betere aansluiting op wat NIZO nodig had.
- Hybride zoekmachine: Onze AI Engineers combineerden zoeken op trefwoorden (BM25) met vectorzoeken en lieten de gecombineerde resultaten opnieuw rangschikken door een rerank-model, met OCR voor rapporten zonder tekstlaag.
- Visuele verkenning: Naast de gerangschikte resultatenlijst was het doel om werk te kunnen ontdekken op basis van onderlinge samenhang. Daarom is een interactief clusterdiagram van de zoekruimte toegevoegd, met onder meer filters op documenttype, jaar en onderzoeksgebied.
De resultaten: impact in cijfers
Na twee sprints is de oplossing in de dagelijkse praktijk getest door een projectgroep van vijf NIZO-medewerkers:
Opgeleverd in de proof of concept
- Ruim 75 jaar aan onderzoeksrapporten doorzoekbaar via één ingang.
- Bespaart 2 uur inwerktijd per medewerker.
- Naar verwachting 20% sneller onderzoeksproces
Conclusie
Door eerst te testen welke retrievaltechniek bij het eigen archief past, beschikt NIZO na twee sprints over een werkende zoekoplossing die ruim 75 jaar onderzoek ontsluit. De samenwerking met DataNorth AI laat zien dat een korte proof of concept met echte gebruikers sneller richting geeft dan een lang vooronderzoek.
