Ai speurt naar het awe-moment tijdens zonsverduistering

Studenten van De Haagse Hogeschool ontwikkelen prijswinnende analysetool voor TotalTogether Hoe reageren mensen wanneer de maan de zon volledig bedekt? Die vraag stond centraal in een onderzoek van vier studenten Applied Data Science & Artificial Intelligence van de Haagse Hogeschool. In opdracht van TotalTogether ontwikkelden zij een ai-systeem dat videobeelden van totale zonsverduisteringen automatisch analyseert en patronen in menselijk gedrag en emoties zichtbaar maakt. Daarom is er nu een oproep: maak videobeelden tijdens de totale zonsverduistering van 12 augustus 2026! TotalTogether is een Nederlands initiatief dat mensen samenbrengt rondom totale zonsverduisteringen. De organisatie organiseert evenementen, bijeenkomsten en reizen naar locaties waar zulke verduisteringen zichtbaar zijn. Met de totale zonsverduisteringen van 2026 en 2027 in Spanje in het vooruitzicht wil de organisatie niet alleen bezoekers een bijzondere ervaring bieden, maar ook beter begrijpen wat die gebeurtenis emotioneel met mensen doet. Tijdens eerdere zonsverduisteringen zijn er veel videobeelden gemaakt van toeschouwers. Op die video’s zijn vaak sterke reacties te zien: mensen juichen, omhelzen elkaar, kijken vol ontzag naar de hemel of houden hun handen voor hun mond van verbazing. Toch werd dit materiaal nooit systematisch onderzocht. Het handmatig bekijken en analyseren van uren aan videobeelden kost simpelweg te veel tijd. TotalTogether zag daarom kansen in kunstmatige intelligentie. De organisatie wilde weten of ai in staat is om automatisch patronen te herkennen in de reacties van deelnemers aan eclips-evenementen. Met die praktische vraag klopte de organisatie aan bij de opleiding Applied Data Science & Artificial Intelligence van de Haagse Hogeschool, waarna vier studenten aan de slag gingen met het onderzoek ‘Eclipse Dynamiek’ binnen het vak DataLab IV. Zij onderzochten hoe moderne beeldanalyse kan helpen om grote hoeveelheden videobeelden op een consistente manier te verwerken. Het door hen ontwikkelde prototype herkent onder meer de verschillende fasen van een zonsverduistering, telt personen in beeld, detecteert gezichten en brengt veranderingen in zichtbare publieksreacties gedurende de opname in kaart. Videobeelden blijken lastig materiaal Al vroeg ontdekten de studenten – Nika de Vries, Maan Lammers, Thida Churam en Bram Veelenturf – dat zonsverduisteringsvideo’s veel minder uniform zijn dan verwacht. Sommige camera’s zijn volledig op de hemel gericht, andere tonen grote mensenmassa’s en weer andere bevatten close-ups van individuele toeschouwers. Eén analysemethode voor al deze beelden bleek onmogelijk. Daarom kozen de onderzoekers voor een modulaire aanpak (zie kader onderaan) waarin beelden eerst worden geclassificeerd voordat verdere analyse plaatsvindt. Daarnaast kampte het team met een relatief kleine dataset. Vooral beelden van bewolkte omstandigheden en overgangsmomenten rond de verduistering waren schaars. Daardoor had het classificatiemodel soms moeite met uitzonderlijke situaties. Hun advies: op toekomstige evenementen nog meer trainingsmateriaal verzamelen. Ook de gezichts- en emotieherkenning kende beperkingen. Tegenlicht, schuine camerahoeken, zonnebrillen en grote afstanden maakten het moeilijk om gezichten betrouwbaar te detecteren. Niet alle emoties zijn bovendien zichtbaar in het gezicht. Mensen kunnen diep onder de indruk zijn zonder dat hun gezichtsuitdrukking dat duidelijk verraadt. Het grootste probleem: de eclips zelf De opvallendste uitdaging bleek paradoxaal genoeg het hoogtepunt van de zonsverduistering zelf. Tijdens een totale eclips wordt het zo donker dat gewone camera’s onvoldoende licht ontvangen om gezichten nog goed vast te leggen. Daardoor werken gezichtsdetectie en emotieanalyse op dat moment niet meer betrouwbaar. Om dit probleem op te lossen ontwikkelden de studenten een speciale twee-fasenaanpak. Het systeem analyseert vooral de periode vlak vóór en vlak ná de totale verduistering. Die momenten blijken juist bijzonder interessant, omdat deelnemers dan vaak spanning, verwachting, opluchting, blijdschap en verwondering tonen. De feitelijke eclipsfase wordt automatisch herkend via een donkerte-algoritme en overgeslagen voor de gezichtsanalyse. Positieve emoties nemen duidelijk toe De resultaten van het onderzoek zijn veelbelovend, luidde de beoordeling. Het classificatiemodel behaalde een nauwkeurigheid van ongeveer 95 procent. Ook de persoon- en gezichtsdetectie presteerden goed onder geschikte omstandigheden. Het meest interessante resultaat kwam uit de emotieanalyse. Tijdens de eclipsfase en de omliggende momenten nam het aandeel gezichten dat als ‘blij’ werd geclassificeerd toe met 12,6 procentpunt. Het aandeel ‘verrast’ steeg eveneens met 12,6 procentpunt. Tegelijkertijd nam het aantal neutrale gezichtsuitdrukkingen sterk af. Volgens de onderzoekers sluit dat nauw aan bij wetenschappelijke theorieën over het gevoel van awe: een emotie van ontzag en verwondering die ontstaat bij indrukwekkende natuurverschijnselen. Het project leverde dus een werkend prototype op en nieuwe inzichten in de beleving van een van de meest indrukwekkende natuurverschijnselen. Het project werd tijdens een recente HHS Expo bekroond met zowel de Studentenprijs als de Docentenprijs. En het kreeg en krijgt een vervolg in de praktijk. Na afronding van het onderzoek heeft initiatiefnemer Marjan Schnetz van TotalTogether de methode toegepast op videobeelden van de totale zonsverduistering in Exmouth (Australië) van 20 april 2023. Op basis daarvan werd de eerste Eclipse Experience Card (ECC) ontwikkeld: een compacte rapportage waarin de analyse van een volledige eclipsvideo overzichtelijk wordt samengevat. Daarmee wordt zichtbaar hoe een gestandaardiseerde analyse van videobeelden er in de praktijk uit kan zien. Internationale praktijktest én oproep De volgende stap vindt plaats tijdens de totale zonsverduistering van 12 augustus 2026. TotalTogether organiseert die dag een ‘field test’ in Noord-Spanje, maar doet tegelijkertijd een internationale oproep aan eclipswaarnemers in het volledige pad van de totaliteit – van Groenland en IJsland tot Spanje en de Balearen – om volgens een eenvoudige opnamehandleiding videobeelden van het publiek vast te leggen. Hiervoor is de speciale app Halo Eclipse Moments ontwikkeld. Door beeldmateriaal uit verschillende locaties en omstandigheden te verzamelen ontstaat een unieke internationale dataset waarmee de analysemethode verder kan worden getest en verbeterd. Halo Eclipse MomentsDe door Marjan Schnetz ontwikkelde app Halo Eclipse Moments is beschikbaar in de Apple App Store en Google Play. Halo helpt je om de zonsverduistering op 12 augustus 2026 optimaal te beleven én je kunt meedoen aan een internationaal citizen science-project.Meer info: totaltogether.com Op weg naar 2 augustus 2027 De praktijktest van 12 augustus is bovendien de laatste mogelijkheid om ervaring op te doen vóór de totale zonsverduistering van 2 augustus 2027, die met een maximale totaliteit van ruim zes minuten de langste totale zonsverduistering boven land van deze eeuw wordt en naar verwachting honderdduizenden waarnemers naar het Middellandse Zeegebied zal trekken. Daarmee krijgt het prijswinnende studentenproject een vervolg als internationaal praktijkproject waarin onderwijs, citizen science en een unieke astronomische gebeurtenis samenkomen, aldus Schnetz. Vier stappen naar inzicht De centrale onderzoeksvraag van de vier studenten Applied Data Science & Artificial Intelligence van de Haagse Hogeschool luidde: hoe kan een ‘ai-pipeline’ (productielijn) worden ontwikkeld die videobeelden van een zonsverduistering automatisch analyseert, zodat patronen in menselijke reacties zichtbaar worden? In hun eindrapport beschrijft het kwartet hoe het tot een praktische ai-pipeline van vier opeenvolgende stappen is gekomen: De eerste stap was eclipseclassificatie. Hierbij bepaalt het systeem of een videoframe een verduistering toont, de zon zichtbaar is of dat er helemaal geen zon in beeld staat. De studenten bouwden een zogeheten Convolutional Neural Network (CNN), met de tools TensorFlow en Keras (twee opensource-softwarebibliotheken voor neurale netwerken). Als type CNN kozen ze voor MobileNetV2, een lichtgewicht, efficiënt neuraal netwerk, door Google ontwikkeld voor beeldherkenning en computervisie op apparaten met weinig rekenkracht, zoals smartphones. Zo’n CNN is speciaal ontworpen voor het herkennen van patronen in beelden. Qua werking is het te vergelijken met dat van een menselijk oog: het scant een afbeelding op vormen, kleuren en structuren, en leert na verloop van tijd te herkennen wat het ziet. De studenten trainden het ai-model op honderden handmatig gelabelde frames. Vervolgens kwam persoondetectie. Met behulp van het ai-objectdetectiemodel Yolov8 (Yolo: ‘You Only Look Once’) werd automatisch geteld hoeveel mensen in elk frame zichtbaar zijn. Zo kunnen veranderingen in groepsgrootte en publieksdynamiek worden gevolgd. Yolov8 is voorgetraind op de CoCo-dataset (Common Objects in Context), een verzameling van foto’s met labels (in onder meer tachtig objectklassen, waaronder ‘persoon’). De derde stap was gezichtsdetectie. Alleen beelden waarop daadwerkelijk gezichten zichtbaar waren, werden doorgestuurd naar de volgende fase. Hiervoor werd het gespecialiseerde model Yolov11m-face ingezet. Dat is een gespecialiseerd gezichtsdetectiemodel van Ultralytics, specifiek getraind op menselijke gezichten. Tot slot volgde emotieherkenning. De onderzoekers maakten gebruik van een Vision Transformer-model van Hugging Face dat gezichtsuitdrukkingen koppelt aan de zeven basisemoties: blij, verrast, bang, boos, verdrietig, afkeer en neutraal. Het systeem is gebaseerd op het wereldwijd bekende Facial Action Coding System van psycholoog Paul Ekman en Wallace Friesen.