Kinderen met autisme ervaren vaak plotselinge meltdowns die het moment niet alleen moeilijk maken voor de verzorgers/ouders, maar ook de kinderen fysiek pijn doen. Studies hebben ontdekt dat kinderen met een autismespectrumstoornis bepaalde acties vertonen waardoor we kunnen anticiperen op verminkende meltdowns bij hen. Het doel van het project is om een systeem te bouwen dat dergelijke acties kan herkennen met behulp van deep learning-technieken, waardoor de verzorgers/ouders op de hoogte worden gebracht, zodat zij de situatie in minder tijd onder controle kunnen krijgen. Met behulp van deep learning RCNN’s kunnen onderzoekers het systeem sneller en toch betrouwbaar trainen, omdat deep learning-algoritmen, in tegenstelling tot alle machine learning-algoritmen, efficiënter zijn en meer ruimte hebben voor de toekomst. Ze hebben een classifier getraind op afbeeldingen die zijn verzameld uit video’s en betrouwbare internetbronnen met de meeste voorspellende gebaren, waardoor ze de meltdowns nauwkeuriger kunnen detecteren. Onderzoekers hebben een model getraind dat de nauwkeurigheid met ~93% heeft gevalideerd, wat gepaard gaat met een verlies/treinclassificatie met een minimaal verlies van 0,4%. Functionele tests werden uitgevoerd door het diepe neurale netwerk te voeden met gekozen acties die door vijf personen werden uitgevoerd, wat in alle gevallen resulteerde in een nauwkeurigheid van ~92%, wat het realtime gebruik van het systeem kan garanderen.