De RAG-engineer

De demo slaagt omdat jij de vragen bepaalt. In productie bepaalt de gebruiker ze, en een verlopen beleidsdocument in je index wordt een zelfverzekerd fout antwoord.

Productie-RAG-fouten clusteren bij grenzen. Een ander embedding-model laat die ene fout verdwijnen. De grens erachter blijft ongeïnstrumenteerd, klaar voor de volgende. En de duurste fouten zijn stil: aannemelijk, intern consistent en vol vertrouwen afgeleverd. De gebruiker handelt ernaar. Er komt geen ticket; je hoort het pas als een klant escaleert.

Het GRAIN van De RAG-engineer benoemt vijf vaardigheden: Gather corpora, Rank and rerank, Assemble context, Inspect failures, Navigate freshness. Retrieval is geen magie. Het is een product-subsysteem met vier SLA-assen: nauwkeurigheid, versheid, latency en debugbaarheid. Elke SLA-as krijgt een eigenaar.

• Benoem bij elk fout antwoord eerst de grensklasse, dan pas de oplossing.
• Leg per bron een corpus-contract vast: inhoudseigenaar, toestemmingscontract en versiebeheerbeleid met verouderingstolerantie en heringest-trigger.
• Loop de grens-auditreeks af: eerst de assembly-trace, dan de freshness-, ingest-, rank- en assemble-grens.
• Verdeel je latency-budget bij p95 over retrieval, reranker en context-assembly.
• Laat geen wijziging door zonder ship-gate en handhaaf TTL-beleid per corpustype.

De demo blijft slagen; in productie heeft je retrieval-subsysteem vier SLA-assen. Fouten krijgen een grensklasse en een eigenaar, een harde gate blokkeert regressies voordat ze gebruikers bereiken, en het postmortem verwijst al naar een fase. Als een antwoord misgaat, haal je eerst de failure-trace op.

Geverifieerde leveranciersclaims dragen een datum. Staat iets op vaste grond, dan krijg je het zonder voorbehoud. Is het bewijs gemengd (chunk-grootte, reranker-model, versheidsvenster), dan volgen de variabelen en een manier om te meten. Voor wie al een RAG-prototype draait en vectorzoeken kan opzetten.

Volg de grens, niet de uitvoer.