Een geheugen dat onderhoud vraagt

Persistent AI Memory, afgekort PAM, heeft op 20 september versie 2.0.0 openbaar gemaakt. Het opensourceproject bouwt een geheugen rond AI-assistenten, met Open WebUI als belangrijkste aansluiting. Nieuw zijn onder meer een opgebouwd kernprofiel, achtergrondonderhoud en hulpmiddelen voor export en verwijdering. Dat kan aantrekkelijk zijn als je bij een programmeerproject telkens dezelfde voorkeuren moet uitleggen. Maar een geheugen bruikbaar houden vraagt meer dan zoveel mogelijk opslaan. We bekeken de gepubliceerde documentatie en broncode; dit is geen praktijktest of beveiligingsaudit. Vooral de grenzen van de nieuwe beheerfuncties verdienen aandacht.

Open WebUI heeft zelf al geheugen

PAM is een afzonderlijk project. Het is dus niet de eerste manier waarop Open WebUI informatie tussen gesprekken bewaart. De eigen documentatie van die chatomgeving beschrijft ingebouwde geheugenfuncties waarmee gebruikers feiten en voorkeuren kunnen toevoegen, aanpassen en verwijderen. Geschikte modellen kunnen daarvoor ook zelf gereedschappen aanroepen. Hoe goed dat gaat, hangt volgens Open WebUI sterk van het model af. In de persoonlijke instellingen kun je bekijken wat is opgeslagen. Wie alleen wil dat een assistent een paar werkvoorkeuren onthoudt, kan daarom eerst nagaan wat de bestaande omgeving al biedt. De ingebouwde bediening en een extra geheugenlaag hebben hun eigen werking; beschouw de instellingen van het ene systeem niet zonder controle als het volledige beheer van het andere.

Een profiel is een samenvatting

De nieuwe profielmodule is ontworpen om herinneringen en gespreksinformatie aan een taalmodel voor te leggen. Dat krijgt de opdracht om onderdelen samen te stellen over onder meer voorkeuren, onderlinge omgang, feiten en eerdere lessen. Bij een volgende ronde gaat het bestaande profiel mee, zodat nieuwe informatie kan worden toegevoegd of verwerkt. Ook het inlezen van gearchiveerde herinneringen is voorzien. Daarmee ontstaat een door het model gemaakte samenvatting: geen letterlijke kopie van alles wat je hebt gezegd. Denk aan een tijdelijk studieplan dat later verandert. Voor een bruikbaar geheugen wil je dan niet alleen de nieuwe afspraak vastleggen, maar ook kunnen herkennen welk beeld uit eerdere gesprekken is ontstaan. De code bevat afzonderlijke routines voor opslag in een database en in een reservebestand.

Opruimen kan de inhoud veranderen

De onderhoudsmodule laat zien dat opruimen inhoudelijk werk kan zijn. Een taalmodel krijgt bestaande herinneringen voorgelegd om de formulering te normaliseren. Bij een bruikbaar antwoord schrijft het programma de nieuwe tekst terug. Een andere functie zoekt naar herinneringen over hetzelfde onderwerp met gewijzigde of aanvullende informatie. De gevonden relatie wordt opgeslagen; een toelichting kan aan de oudere herinnering worden toegevoegd. Het model wordt gevraagd feiten te behouden, maar die instructie is geen bewijs dat iedere bewerking correct blijft. De praktische controle is daarom niet alleen hoeveel dubbele notities verdwijnen. Ook de betekenis moet overeind blijven. Dat is relevant wanneer je assistent afspraken voor een groepsproject onthoudt: een nette, compacte notitie kan alsnog een verkeerde afspraak bevatten.

Onderhoud wacht op een rustiger moment

PAM heeft ook een centrale taakplanner. Die controleert of werk aan de beurt is en of de benodigde middelen beschikbaar zijn. Taken die inactiviteit vereisen, wachten totdat de geregistreerde gebruikersactiviteit lang genoeg geleden is. Binnen de planner zijn er blokkeringen voor gelijktijdig zwaar werk aan dezelfde database en voor modeltaken. Dat ontwerp probeert te voorkomen dat onderhoud en andere werkzaamheden elkaar in de weg zitten. Het bewijst nog geen vloeiender gesprek op jouw laptop: daarvoor zouden metingen nodig zijn. Voor iemand die lokaal AI draait is vooral nuttig om te begrijpen dat het geheugen niet uitsluitend tijdens je vraag werkt. Er kunnen ook later onderhoudstaken plaatsvinden.

Lokaal bewaren zegt niet waar het model rekent

De configuratiehandleiding onderscheidt de opslag van herinneringen van de dienst die er rekenwerk voor uitvoert. Voor embeddings, getalsmatige representaties waarmee tekst op betekenis kan worden gezocht, beschrijft ze zowel lokale aanbieders als een clouddienst. In een uitgebreider configuratievoorbeeld staan bovendien alternatieve aanbieders voor wanneer de eerste niet beschikbaar is. Wie verwerking op de eigen computer wil houden, moet dus ook die uitwijkmogelijkheden bekijken. Een database op je laptop zegt op zichzelf niets over de gekozen verwerking van tekst. Voor Nederlandse en Belgische studenten is de concrete vraag bij een stageproject daarom: welke dienst ontvangt deze inhoud? Controleer het ingestelde adres en de alternatieven voordat je echte projectinformatie toevoegt.

Een export is geen volledige reservekopie

De nieuwe exporthulp maakt een tekstbestand van herinneringen uit de geheugentabel van Open WebUI. In de broncode staan filters voor bijvoorbeeld gebruiker, model en periode. Zo’n bestand kan handig zijn om rustig te lezen wat de toepassing heeft onthouden, of om een selectie naast je eigen notities te leggen. Maar de exportfunctie kopieert niet automatisch iedere database, ieder archief en ieder profielbestand van PAM. Een leesbare tekstexport is daardoor niet hetzelfde als een volledige reservekopie waarmee je de hele installatie kunt herstellen. Ook het gekozen filter bepaalt wat je ziet. Wie alleen recente herinneringen exporteert, heeft daarmee geen overzicht van alle oudere informatie die elders in de geheugenopslag kan staan.

Verwijderen heeft eveneens een bereik

De modelgebonden verwijderhulp biedt een voorvertoning en vraagt bevestiging voordat ze echt wist. De bekeken wisfunctie richt zich op geselecteerde herinneringen, kernprofielen en gespreksgegevens in een aantal databases. Ze doorloopt niet als algemene opruimactie alle losse exports, profielreservebestanden en archiefmappen. Dat verschil is belangrijk wanneer je wilt stoppen met een project of onjuiste informatie wilt verwijderen. Eén geslaagde wisactie bewijst niet dat iedere eerder gemaakte kopie verdwenen is. Bekijk daarom welke opslagplaatsen bij jouw installatie horen en welke actie daarop werkt. Het nuttige aan de openbare code is dat die grenzen controleerbaar zijn. De nieuwe hulpmiddelen geven meer mogelijkheden voor beheer, maar nemen de keuze over wat je wilt bewaren en vergeten niet van je over.

Verder bij de bron

Lees zelf de onderzoeken, uitleg en aankondigingen achter dit verhaal.

Bronnen en werkwijze