Acht redenen waarom je AI op je eigen computer zou moeten draaien
ChatGPT, Claude en Gemini zijn handig, maar je invoer belandt op externe servers. Lokaal behoud je de controle over gegevens, kosten en modellen. Acht redenen hiervoor als aftrap van onze serie, waarin ik samen met Asus een lokale AI bouw.
Ik wilde onlangs een vertrouwelijk document laten samenvatten door een kunstmatige intelligentie (AI). Vlak voor het uploaden twijfelde ik. Waar belandt dit document eigenlijk? Wie kan het zien? En hoe lang wordt het opgeslagen? Ik heb het uiteindelijk niet gedaan. Toch is er een manier waarop deze vragen niet eens aan de orde komen: AI op je eigen computer.
De antwoorden verschillen per aanbieder en abonnement. Gratis accounts gebruiken invoer vaak voor training, betaalde en zakelijke accounts meestal niet. Chats blijven opgeslagen totdat je ze verwijdert, en vaak nog een tijdje daarna. In individuele gevallen dwingen rechtbanken aanbieders om logs langer te bewaren, zoals in de zaak The New York Times Company tegen Microsoft. Wil je het precies weten, lees dan de details in de privacyverklaring van de aanbieder.
Bij clouddiensten zoals ChatGPT, Claude of Gemini gaat elke invoer naar de servers van de aanbieder. Bij lokale AI draait het taalmodel op je eigen hardware. Dat heeft voordelen, maar ook een prijs. Hier zijn acht redenen die pleiten voor de lokale aanpak.
Dit artikel is de aftrap van een korte serie. In samenwerking met Asus laat ik je in de komende bijdragen zien hoe je een lokale AI opbouwt. Eerst leg ik uit wanneer en waarom dat de moeite waard is.
1. Je gegevens blijven bij jou
Je computer verwerkt de tekst en genereert het antwoord. Geen enkele aanbieder slaat het op of analyseert het, en niemand traint er een model mee. Ook autoriteiten kunnen het bij geen enkele aanbieder opvragen.
De weg naar de cloud is versleuteld, dus onderweg onderschept bijna niemand iets. Het risico begint pas daarna, bij opslag, analyse en toegang. Juist dat risico vervalt bij een lokale opstelling.
Een restrisico blijft bestaan. Apps sturen telemetriegegevens, plug-ins roepen externe diensten aan en je computer heeft bescherming nodig. Daar komt een fout bij die velen maken: wie de interface van zijn lokale AI openstelt voor het internet in plaats van deze op het eigen apparaat te houden, stelt deze open voor iedereen. Beveiligingsonderzoekers vinden regelmatig duizenden openlijk toegankelijke instanties. Gelukkig heb je deze punten zelf in de hand.
Dit is vooral interessant als je met gevoelige informatie werkt. Denk aan ontwikkelaars met bedrijfsinterne code, artsen met patiëntgegevens of advocaten met vertrouwelijke correspondentie.
2. Na de aankoop betaal je alleen nog voor stroom
Is het rendabel? Dat hangt ervan af hoe je AI gebruikt.
Wie ChatGPT, Claude of Gemini gebruikt, betaalt een abonnement voor een vaste prijs. Een grafische kaart van honderden euro's heeft jaren nodig om zichzelf terug te verdienen. Voor incidenteel gebruik is de aanschaf niet de moeite waard.
Anders wordt het als programma's de AI via een interface (API) aanroepen. Daar betaal je per verwerkte hoeveelheid tekst. Een code-assistent die de hele dag meeleest, een stapel documenten of een geautomatiseerd proces jagen de rekening snel omhoog. Wie zo werkt, verdient de kosten van de hardware vaak na enkele maanden terug.
Op je eigen computer betaal je na de aankoop hoofdzakelijk alleen nog voor de stroom. Daar komt bij dat het opbouwen tijd kost en het onderhoud ook. Je installeert drivers en software, probeert modellen uit en voert updates door. Wil je de AI koppelen aan eigen documenten of programma's, dan komt er nog meer werk bij kijken. Deze tijd staat op geen enkele factuur, maar telt wel mee.
3. Het antwoord begint direct
Een verzoek aan de cloud reist eerst door het halve netwerk, wacht eventueel op vrije rekenkracht en loopt tegen gebruiksbeperkingen aan zodra de aanbieder overbelast is. Deze wachttijd vervalt als het model op je eigen computer staat. Je drukt op Enter en het model gaat aan de slag.
Bij de snelheid van de output draaien de rollen om. De aanbieders rekenen in datacenters op versnellers waar een grafische kaart in een thuiscomputer niet tegenop kan. Bij een even groot model schrijft de cloud het antwoord meestal sneller af.
Het lokale voordeel is dus zichtbaar waar de eerste reactie telt. Bijvoorbeeld bij code-aanvulling in de editor of bij een assistent die meedraait terwijl je werkt. Hoe vlot het daarna gaat, hangt sterk af van je hardware. Op een moderne grafische kaart antwoordt een kleiner model vlot, op een computer zonder grafische kaart wordt het traag.
4. Werkt ook offline
Is een model eenmaal gedownload en op de computer geïnstalleerd, dan heb je geen internet meer nodig. Dat helpt onderweg of bij een netwerkstoring.
5. Jij bepaalt welk model draait
De cloud geeft je wat de aanbieder in het assortiment heeft. Op Hugging Face, het grootste platform voor vrij downloadbare modellen, staan daarentegen meer dan drie miljoen modellen klaar. Daaronder allrounders, specialisten voor programmeercode, meertalige modellen en modellen voor specifieke vakgebieden.
Vrij downloadbaar betekent niet open source. De treffendere term is "open weight". Je krijgt het kant-en-klare model, niet per se de trainingsgegevens, en de licentie kan voorwaarden bevatten. Open source zou het recept inclusief ingrediëntenlijst zijn, open weight is de kant-en-klare taart: eten en versieren ja, recept nee. De modellen Llama en Gemma staan bijvoorbeeld minder toe dan een MIT- of Apache-licentie – Llama vereist vanaf een bepaald aantal maandelijks actieve gebruikers een aparte licentie van Meta, en bij beide zijn er lijsten met verboden toepassingen. Privé speelt dat zelden een rol, commercieel des te meer.
Een model kan met je eigen gegevens worden bijgetraind, het zogenaamde fine-tuning. Bijvoorbeeld voor een bepaalde stijl of een vakgebied. Eigen documenten koppel je eenvoudiger via RAG – kort voor "Retrieval Augmented Generation", vrij vertaald: opzoeken in plaats van uit het hoofd leren. Je bestanden belanden in een doorzoekbare opslag, en bij elke vraag zoekt het systeem de passende tekstfragmenten op en levert deze direct mee aan het model. Het voordeel: je verandert niets aan het model, kunt documenten op elk moment vervangen en ziet waar een antwoord vandaan komt.
Veel modellen zijn bovendien in verkleinde varianten beschikbaar. Kwantisatie heet dat: een model bestaat uit miljarden getalswaarden, en die worden daarbij grover opgeslagen – vergelijkbaar met een foto die je comprimeert voor verzending. Het model krimpt tot een fractie, draait sneller en past überhaupt op je computer. Daar staat tegenover dat het bij lastige taken iets onnauwkeuriger wordt.
Ook over updates beslis je zelf. Aanbieders voeren vaak stille wijzigingen door: de naam blijft gelijk, het gedrag verandert omdat een update, een nieuwe systeemprompt of een aangepast filter actief wordt. Lokaal blijft de versie die aan jouw behoeften voldoet zo lang behouden als je zelf wilt.
6. Eenvoudiger voor privacy en compliance
De AVG en de herziene Zwitserse wet op gegevensbescherming (revDSG) regelen waar en hoe persoonsgegevens verwerkt mogen worden. Voor de doorgifte naar de VS is er inmiddels een geregelde weg: het Data Privacy Framework. Is een Amerikaans bedrijf daar gecertificeerd, dan geldt de gegevensbescherming als gelijkwaardig voor de EU en Zwitserland. Daarnaast zijn er verwerkersovereenkomsten en houden meerdere aanbieders gegevens op verzoek in Europa.
Je moet daar echter maar beperkt op vertrouwen. Deze besluiten zijn politieke keuzes, en het Europees Hof van Justitie heeft met Safe Harbor en Privacy Shield al twee eerdere regelingen vernietigd. Wie gegevens helemaal niet naar buiten brengt, hoeft zich over deze vraag geen zorgen te maken. In gereguleerde sectoren zoals de gezondheidszorg of de financiële sector kan verwerking in eigen huis zelfs de enige acceptabele oplossing zijn.
Ook de verwerking is makkelijker aan te tonen als je precies weet waar deze plaatsvindt. De overige verplichtingen verdwijnen daardoor niet. Toegangsbeheer, logboekregistratie en gedocumenteerde gegevensstromen blijven bestaan.
7. Je blijft onafhankelijk van de aanbieder
Bouw je een applicatie op de interface van één enkele aanbieder, dan maak je jezelf afhankelijk (vendor lock-in). De aanbieder kan prijzen verhogen, modellen uitschakelen of hun gedrag veranderen, en dan mag jij je software en instructies aanpassen.
Lokale modellen zijn daarentegen simpele bestanden. Je maakt er back-ups van, kopieert ze en gebruikt ze op een andere computer. Programma's zoals Ollama, LM Studio of llama.cpp bieden een OpenAI-compatibele interface. Bestaande applicaties kunnen daardoor vaak zonder veel moeite worden omgezet.
8. Jij beslist over de inhoudsfilters
Bij medische vragen, beveiligingsonderzoek of literair schrijven over moeilijke onderwerpen blokkeren cloudmodellen soms, ook al is de intentie legitiem. De filters volgen de regels van de aanbieder en beschermen in de eerste plaats hemzelf. Bijvoorbeeld als ik het model vraag naar het innemen van een medicijn en het me doorverwijst naar een arts – ook al zou het antwoord in een compendium staan.
Op je eigen computer kies je zelf met welke barrières je werkt. Veel modellen zijn in beide varianten beschikbaar, met ingebouwde beschermingsmechanismen en zonder. Dat brengt vrijheid en verantwoordelijkheid met zich mee.
Wanneer de cloud de betere keuze is
Eén nadeel weegt zwaar: een model dat op een grafische kaart voor thuisgebruik draait, haalt het niet bij de grote cloudmodellen. Bij samenvattingen, vertalingen of eenvoudige code merk je het verschil nauwelijks. Vereist een taak meerdere denkstappen, dan merk je het duidelijk.
De cloud is de betere keuze als:
- je AI slechts af en toe gebruikt, dan is hardware niet rendabel
- je het best mogelijke antwoord nodig hebt, ongeacht waar het vandaan komt
- je computer geen krachtige grafische kaart heeft
- je je niet bezig wilt houden met updates, modellen en instellingen
Doorslaggevend is daarbij vooral het videogeheugen van de grafische kaart, kortweg VRAM. Als vuistregel heeft een naar 4-bit gecomprimeerd model ongeveer een halve gigabyte (GB) per miljard parameters nodig. Een model met 8 miljard parameters neemt dus ongeveer 4 GB in beslag. In het volgende artikel ga ik hier dieper op in.
Lokale AI beschermt je gegevens en maakt je onafhankelijk van aanbieders. Bij intensief gebruik bespaar je geld. Daarvoor heb je passende hardware nodig, wat technisch inzicht, tijd voor de installatie en de bereidheid om op het gebied van pure modelkwaliteit concessies te doen.
Voor incidentele gebruikers blijft de cloud de gemakkelijkere keuze. Wie met gevoelige gegevens werkt of dagelijks AI nodig heeft, zou de lokale variant moeten bekijken.
Zo gaat het verder in de serie
In samenwerking met Asus bouw ik in de komende bijdragen een lokale AI op. Je leert welke hardware je nodig hebt, hoe je de software installeert en welk model bij jouw plannen past. Aan het einde laat ik zien hoe het geheel in de praktijk bevalt.
Technologie en maatschappij fascineren me. Beide combineren en vanuit verschillende perspectieven observeren is mijn passie.
Interessante feiten uit de wereld van producten, een kijkje achter de schermen van fabrikanten en portretten van interessante mensen.
Alles tonen
