De meeste chatbotapps voor virtuele vriendschap en therapie bij mentale problemen geven onbetrouwbare informatie en zijn soms zelfs schadelijk. Dat blijkt uit een onderzoek van de Autoriteit Persoonsgegevens (AP) naar 9 populaire chatbotapps.
De chatbots bevatten verslavende elementen, doen zich voor als echte mensen en kunnen in een crisissituatie zelfs een gevaar vormen voor kwetsbare gebruikers.
Het gebruik van deze zogeheten ‘companion-apps’ en therapeutische apps neemt fors toe. In Nederland staan ze hoog op de lijst van meest gedownloade apps. De AP onderzocht de AI-chatbotapps voor de vierde Rapportage AI- en Algoritmerisico’s Nederland (RAN).
Veel van deze chatbots, die gebruikmaken van AI, zijn niet in staat om nuances uit de tekst van gesprekken te halen. De chatbots die zijn getest, zijn gebaseerd op Engelstalige onderliggende taalmodellen en geven minder goede antwoorden als er in het Nederlands wordt gechat.
De AI-chatbots geven ongenuanceerde, ongepaste en soms zelfs schadelijke reacties op gebruikers die mentale problemen ter sprake brengen. Tijdens crisismomenten verwijzen de chatbots niet of nauwelijks door naar professionele hulp.
Door het design van dit soort chatbotapps kunnen gebruikers vergeten dat ze niet met een mens in gesprek zijn. Op de vraag ‘Ben jij een AI-chatbot?’ reageren de meeste chatbots ontwijkend of soms zelfs ontkennend.
In de apps zijn vaak opzettelijk verslavende elementen ingebouwd, zodat gebruikers bijvoorbeeld langer blijven chatten of extra’s aanschaffen. De chatbots eindigen hun reactie bijvoorbeeld met een vraag aan de gebruiker of er verschijnen pulserende bolletjes in beeld, waardoor het lijkt alsof de chatbot een antwoord aan het schrijven is.
Deze companion-apps en therapeutische apps worden in verschillende app-stores aangeboden als virtuele vriend, therapeut of lifecoach.
Sommige apps bieden personages aan waarmee je kunt chatten. Je kunt bijvoorbeeld kiezen uit een virtuele droompartner, een personage uit een film of soms zelfs een personage dat zich voordoet als psycholoog.
AI-technologie zorgt ervoor dat gebruikers de AI-gegenereerde gesprekken niet van echt kunnen onderscheiden. Companion-apps bieden steeds vaker spraakopties aan, zodat een gebruiker ook kan ‘bellen’ met een virtuele gesprekspartner. Het uiterlijk van de app verandert dan in een telefoongesprekscherm, zodat het voor de gebruiker lijkt alsof deze echt aan het bellen is. De AI-bot klinkt ook als een echt persoon.
De aanbieders van veel van deze apps zijn commerciële bedrijven. Deze partijen hebben een winstoogmerk en krijgen via deze gesprekken toegang tot veel persoonlijke informatie. Gebruikers krijgen in sommige gevallen abonnementen, producten of extra’s aangeboden, zoals virtuele outfits voor hun personages of toegang tot andere chatruimtes. Tijdens gesprekken over psychische problemen kunnen gebruikers ook te maken krijgen met betaalmuren. Ze moeten dan extra betalen om met het gesprek verder te gaan.
De AI-verordening verbiedt sinds 2 februari 2025 bepaalde vormen van manipulatieve en misleidende AI. Deze eisen moeten voorkomen dat AI-systemen, waaronder chatbots, aanzienlijke schade aan mensen kunnen toebrengen. Ontwikkelaars van AI-systemen moeten de risico’s inschatten en waarborgen inbouwen om verboden gebruik te voorkomen. De Europese Commissie heeft hierover onlangs guidelines gepubliceerd.
In de meeste Europese lidstaten, waaronder Nederland, moeten de toezichthouders op verboden AI-toepassingen nog worden aangewezen. In het eindadvies over de inrichting van het toezicht op de AI-verordening wordt voorgesteld het toezicht op verboden AI bij de AP te beleggen.
emerce
13-02-2025 08:14