In de huidige AI-hype is er één term die in veel gesprekken domineert: RAG (Retrieval Augmented Generation). Het wordt gepresenteerd als dé oplossing om LLM’s toegang te geven tot specifieke data. De logica is vaak: hoe geavanceerder de vector-database en hoe complexer de embeddings, hoe beter het resultaat.
Maar bij MSTR kijken we liever naar wat er onder de motorkap gebeurt bij de best presterende systemen ter wereld. En daar zien we een opvallende trend: terwijl de gemiddelde chatbot vastloopt in complexe RAG-architecturen, winnen de meest geavanceerde 'coding agents' (zoals in de SWE-bench) juist door terug te grijpen op simpele tools zoals grep en exacte keyword-matching.
Wat kunnen we hiervan leren voor de bouw van AI-producten?
De complexiteit van RAG als valkuil
RAG-systemen zijn in de basis onderhoudsintensief. Je moet data indexeren, vectoren berekenen, de juiste 'chunking' strategie bepalen en vervolgens hopen dat de semantische zoekopdracht de juiste context naar boven haalt. Voor een chatbot die algemene vragen beantwoordt werkt dit prima, maar zodra precisie vereist is, wordt RAG een risico.
Het grootste probleem? Fuzzy logic. Een vector-database zoekt op "lijkt op", niet op "is gelijk aan". In softwareontwikkeling of bij het raadplegen van gestructureerde databases is "lijkt op" vaak simpelweg een foutief antwoord.
Claude Code kwam tot dezelfde conclusie. Boris Cherny, lead engineer van Claude Code bij Anthropic, vertelde in een interview met Latent Space
> "Originally, we tried very, very early versions of Claude actually used RAG. We indexed the code base using Voyage, just off-the-shelf RAG. And eventually, we landed on just agentic search as the way to do stuff. One, it outperformed everything. By a lot."
Twee redenen waarom ze RAG lieten vallen: agentic search presteerde significant beter, en RAG brengt operationele complexiteit mee. De index raakt out of sync, er zijn security-overwegingen, en dat creëert liability.
De kracht van iteratie: Persistence > Sophistication
De reden dat tools als grep of eenvoudige zoekcommando's momenteel winnen in agent-benchmarks, is niet omdat de tool 'slimmer' is, maar omdat de agent slimmer is geworden.
In plaats van één complexe zoekopdracht in een vector-database te schieten en te hopen op het beste, werkt een moderne agent iteratief:
De agent voert een simpele zoekopdracht uit (grep).
Krijgt hij geen resultaat? Dan past hij zijn zoekterm aan.
Krijgt hij te veel resultaat? Dan verfijnt hij de filters.
Deze multi-step aanpak bootst de manier waarop een menselijke programmeur werkt na. Het is voorspelbaar, transparant en "cruciaal" vele malen betrouwbaarder dan een 'black box' RAG-systeem.
Wat betekent dit voor AI-producten?
Veel bedrijven steken momenteel kapitalen in het optuigen van loodzware RAG-infrastructuren voor hun chatbots. Wij trekken die aanpak in twijfel. Als we kijken naar de effectiviteit van agents, zien we dat de intelligentie niet in de database moet zitten, maar in de tools die je de agent geeft.
De lessen die wij hieruit trekken voor de ontwikkeling van AI-software:
Stop met over-engineering: Een agent die een database kan bevragen met gerichte zoekcommando's is vaak effectiever (en goedkoper) dan een agent die afhankelijk is van complexe embeddings.
Focus op 'Debugbaarheid': Als een RAG-systeem het verkeerde antwoord geeft, is het vaak gissen waarom. Als een agent een verkeerd zoekcommando uitvoert, zie je dat direct in de logs.
Hybride is de toekomst: Gebruik RAG voor ongestructureerde kennis, maar geef de agent 'harde' tools voor feiten, ID's en code.
Conclusie
De industrie bevindt zich in een fase waarin we 'complex' vaak verwarren met 'beter'. De opkomst van krachtige coding agents laat zien dat de weg naar betrouwbaarheid niet per se via complexere modellen loopt, maar via slimmere interactie met simpele, bewezen tools.
Bij MSTR geloven we niet in het bouwen van de meest complexe architectuur, maar in de architectuur die het beste resultaat levert. Soms betekent dat minder RAG, en meer focus op agents die simpelweg weten hoe ze moeten zoeken.
Co-founder