Mensen gebruiken voor het waarnemen van situaties in eerste instantie beeld en geluid. Binnen het CASSANDRA project, dat we samen met de UvA uitvoeren, willen we computers hetzelfde laten doen. Het doel is om video en audio analyses te combineren tot een zo goed mogelijk "beeld" van de activiteiten in de omgeving (ambient awareness). De focus van het project ligt op het detecteren van agressieve voorvallen (gescheld, vandalisme, geweld, moord, etc) in complexe omgevingen (zoals stations, winkelcentra, uitgaansgelegenheden). Hiervoor is een zeer realistische dataset gemaakt met opnames van acteurs in verschillende agressieve situaties op station Amsterdam Amstel. In dit project doen de Politie van Amsterdam, De NS en Prorail actief mee.
Bij Informatica aan de universiteit van Amsterdam houdt men zich bezig met de beeldbewerking, terwijl de auditory cognition group in Groningen de geluidsanalyse doet. De fusie van beide sensor modaliteiten kan op vele manieren gebeuren en is het onderwerp van dit masterproject. Een eerste aanzet, gemaakt in Amsterdam is een Bayesiaans netwerk, maar dit is niet noodzakelijk de beste oplossing. Machine learning technieken behoren zeker tot de oplossing, maar het gebruiken van expliciete kennis (zoals Ajax speelt thuis vanavond, dus druk) moet ook kunnen worden gebruikt. Het systeem moet dus ook met kennis kunnen redenen.
Dit project kan op een aantal manieren vorm krijgen en biedt daarom veel vrijheid bij de invulling ervan. Meer informatie is te krijgen bij Tjeerd Andringa () of Dirkjan Krijnders ()
postal address
Auditory Cognition Group
Department of Artificial Intelligence
University of Groningen
P. O. Box 407
9700 AK Groningen
The Netherlands
visiting address
Bernoulliborg
Nijenborgh 9
9747 AG Groningen
