Digital Humanities in Bewegung: Ansätze für die computergestützte Filmanalyse

1. Einleitung: Digital Humanities und Filmanalyse

Während sich die „Vermessung der Kultur“ (Lauer 2013) in den textorientierten Geisteswissenschaften in den letzten Jahren rasant entwickelt hat (vgl. etwa Konzepte wie Culturomics, Distant Reading, etc.), so befindet sich die „Vermessung ästhetischer Erscheinungen“ (Flückinger 2011) für den Bereich der Filmwissenschaft und Filmanalyse noch in den Anfängen. Flückinger (2011: 44) spricht in diesem Zusammenhang gar von einem Spannungsfeld zwischen Empirie und Ästhetik, welches sich zwangsläufig ergeben muss, wenn man „die eigentümliche Unschärfe, die allen künstlerischen Werken eignet, in messbare Einheiten zerlegen will“. Dabei lassen sich quantitative Ansätze in der Filmanalyse mindestens bis in das Jahr 1912 1 zurückverfolgen und auch aktuelle Lehrbücher zur Filmanalyse beschreiben gleichermaßen weiche (qualitative) und harte (quantitative) Kategorien und Methoden (Korte 2004: 15). Bei quantitativen Ansätzen steht vor allem die Analyse von Dauer und Auftretenshäufigkeit einzelner Einstellungen in einem Film im Mittelpunkt (vgl. Salt 2006, Kap. „The Numbers Speak“). So stellt etwa die online verfügbare Datenbank Cinemetrics (Cinemetrics o. J.) entsprechende Informationen zur Länge und Verteilung einzelner Einstellungen für mehrere tausend Filme bereit und ermöglicht so vergleichende Analysen von Filmen aus unterschiedlichen Genres und Epochen.

Während die Segmentierung der Filme in der Cinemetrics-Datenbank von der Community manuell vorgenommen wird, gibt es auch Beispiele für Forschungsarbeiten, bei denen die quantifizierbaren Parameter automatisch erhoben werden. Hoyt, Ponot und Roy (2014) präsentieren etwa einen Prototyp namens ScripThreads, der in der Lage ist, Filme der American Film Scripts Online-Datenbank zu parsen und die Handlungsentwicklung eines Films anhand der Szenen und Figuren zu visualisieren. Ein Beispiel für die vergleichende Analyse von Filmmetadaten findet sich im Cinegraph-Projekt von Chris Weaver (2014). Hier können Filme anhand unterschiedlicher Metadaten (z. B. Filmname, Veröffentlichungsdatum, Bewertung, Genre, Oscars, Darsteller, etc.) miteinander verglichen und in einer interaktiven Darstellung zueinander in Beziehung gesetzt werden.

Daneben finden sich im Netz eine ganze Reihe experimenteller Tools, die nicht immer einen wissenschaftlichen Anspruch haben, aber gut illustrieren, welche weiteren Aspekte von Filmen automatisch analysierbar sind: Beispielhaft sei etwa das Python-Tool VideoGrep (Lavigne 2014) genannt, welches das Durchsuchen von Filmdialogen nach bestimmten Schlüsselwörtern ermöglicht, um auf Basis der Treffer dann einen automatischen Zusammenschnitt („supercut“) all der Szenen, in denen das gesuchte Wort vorkommt, zu erstellen. Die Anwendung Pretentious-O-Meter (Beard 2015) analysiert automatisch, wie groß die Bewertungslücke zwischen Nutzerbewertungen und professionellen Filmkritiken eines Films ist und visualisiert dies in einem Kontinuum, welches von „mass-market“ bis „very pretentious“ reicht. Weitere Ansätze der automatischen Filmanalyse finden sich für die Farbverwendung in Filmen: Frederic Brodbeck (2011) visualisiert in seinem Cinemetrics-Projekt Filme als kreisförmig angeordnete Timelines, in denen u. a. die jeweils dominanten Farben zu sehen sind. Ein weiteres Projekt visualisiert Filme als zusammengestauchte Einzelframes, um so farbige MovieBarcodes (MovieBarcodes o. J.) zu erstellen.

Auch auf der DHd 2015 wurde das Thema der Quantifizierung filmischer Strukturen über Filmbild, Filmschnitt und Filmstil bereits auf methodischer Ebene thematisiert (Heftberger 2015) und Howanitz (2015) präsentierte eine erste Distant Watching-Studie für das „Fern-Sehen“ memetischer YouTube-Videos, deren „Schnittkurven“ er auf Frame-Ebene analysiert. In diesem Beitrag knüpfen wir thematisch an die genannten DHd-Vorträge an und diskutieren grundlegende Möglichkeiten der computergestützten Filmanalyse, die über die Quantifizierung von Einstellungen und Szenen hinausgehen. Dabei sollen weitere automatisch quantifizierbare Parameter zur Diskussion gestellt werden, um so neue Perspektiven und Zugänge zur computergestützten Filmanalyse aufzuzeigen und das Thema noch stärker in den Digital Humanities zu verankern. Um die Grenzen und Möglichkeiten dieser Ansätze besser illustrieren zu können, wurde eine Reihe von Prototypen erstellt, die nachfolgend kurz vorgestellt werden.

2. Prototypen für die computergestütze Filmanalyse

In diesem Abschnitt werden drei unterschiedliche Prototypen beschrieben, die jeweils auf unterschiedliche quantifizierbare Aspekte von Filmen abzielen und damit die Untersuchung ganz unterschiedlicher Fragestellungen erlauben. Die Tools greifen allesamt auf im Web frei verfügbare Informationen zu Filmen zurück: So stehen etwa über die Plattformen OpenSubtitles oder die Internet Script Movie Database maschinenlesbare Dialoge von Filmen und Serien in großem Umfang zur Verfügung. Zusätzlich können detaillierte Metadaten sowie auch nutzergenerierte Bewertungen und Kommentare zu Filmen über Plattformen wie IMDb (Internet Movie Database) abgerufen werden. Darüber hinaus soll als weiterer quantifizierbarer Parameter, der direkt aus den Filmen extrahiert werden kann, die Farbverwendung 2 in die Analysen mit einbezogen werden. Alle nachfolgend beschriebenen Prototypen wurden jeweils mit Standard-Webtechnologien (HTML / CSS / JavaScript) und bestehenden Python-Bibliotheken umgesetzt.

2.1. SubVis – Analyse der Filmsprache

Das SubVis-Tool analysiert über OpenSubtitles verfügbare Dialoge von beliebigen, zunächst allerdings nur englischsprachigen Filmen anhand typischer linguistischer Parameter wie Wortfrequenzen oder POS-Tagging und visualisiert die Ergebnisse in einem interaktiven Web-Interface. Zusätzlich kann die Auftretenshäufigkeit einzelner Zeichen oder längerer Sprachsequenzen (= jeweils ein eingeblendeten Untertitel) für beliebig definierbare Analyseintervalle (z. B. jeweils für 5 Minuten-Sequenzen) in einer Timeline dargestellt werden, um bspw. auf einen Blick zu sehen, an welchen Stellen im Film besonders viel oder wenig gesprochen wird (vgl. Abbildung 1).

Figure 1. Abb. 1: Beispielhafte Visualisierung der Zeichen- und Sprachsequenzhäufigkeiten für jeweils fünfminütige Teilabschnitte des Films „Anchorman: The Legend of Ron Burgundy“.

Beispielhafte Fragestellungen, die mit dem Tool untersucht werden können:

• Gibt es für die Filme unterschiedlicher Regisseure jeweils typische Schlüsselwörter?
• Kann man für Filme aus unterschiedlichen Genres beobachten, dass an bestimmten Stellen (z. B. Anfang oder Schluss) besonders viel oder wenig gesprochen wird?
• Wird in Filmen aus den 1980er Jahren insgesamt mehr gesprochen als in Filmen der 1990er Jahre?

2.2. Series Analysis Tool (SAT) – Analyse von TV-Serien anhand von Nutzerbewertungen, Figuren und Sprache

Das Series Analysis Tool ( SAT) ermöglicht die Analyse von Serien und einzelnen Episoden. Dabei werden verschiedene Parameter in einer Timeline-Darstellung visualisiert. Ein wesentlicher Analyseaspekt ist dabei die Bewertung einzelner Episoden durch die IMDb-Community, sodass auf einen Blick erkennbar ist, ob eine Serie im Laufe der Zeit besser oder schlechter bewertet wird, oder ob es einzelne Episoden gibt, die auffallend positiv oder negativ bewertet wurden. Zusätzlich liest das Tool das Figureninventar für jede Episode aus und erlaubt es, die Darstellung nach bestimmten Figuren zu filtern. So kann schnell erkannt werden, ob das Auftreten bestimmter Figuren ggf. Einfluss auf die Bewertung einzelner Episoden hat. Weiterhin wurde die Sprache der Serien hinsichtlich Sentiment- und Emotionswörtern analysiert (vgl. Abbildung 2). Als Datengrundlage dient ein bestehendes Korpus (Tiedemann 2012), in dem alle auf OpenSubtitles in englischer Sprache verfügbaren Untertitel von TV-Serien und Filmen bis zum Jahr 2013 enthalten sind. Dabei kam für die Sentiment Analyse das AFINN-Lexikon (Nielsen 2011) und für die Identifikation acht grundlegender Emotionen (Angst, Wut, Freude, etc.) das NRC Emotion Lexicon (Mohammad / Turney 2010) zum Einsatz. Sowohl die Sentiment-Scores (positiv / negativ) als auch die Emotionsmarker können für jede Episode in die Visualisierung mit einbezogen werden, um so potenzielle Korrelationen zu den Nutzerbewertungen aufzuzeigen.

Figure 2. Abb. 2: Beispielhafte Visualisierung der Serie „Breaking Bad“, mit paralleler Darstellung der Benutzerbewertungen sowie der Sentiment-Analyse der Dialoge für jede einzelne Episode.

Beispielhafte Fragestellungen, die mit dem Tool untersucht werden können:

• Gibt es generelle Trends bei der Bewertung von Serien mit zunehmender Zahl von Staffeln?
• Wirken sich Sentiment- und Emotionsmarker der Dialoge positiv oder negativ auf die Bewertung einer Episode aus?
• Wirkt sich das Auftreten bestimmter Nebenfiguren positiv oder negativ auf die Bewertung einer Episode aus?

2.3. MovieColors – Analyse von Filmen anhand von Farbe und Sprache

Der Prototyp MovieColors erlaubt die computergestützte Analyse von Filmen anhand der Parameter Farbe und Sprache. Dabei wird zunächst der Film in einzelne Frames zerlegt. Mithilfe eines Clustering-Algorithmus werden dann die jeweils dominanten Farben extrahiert. Anhand dieser Farbinformation können charakteristische Farbprofile – ähnlich wie im eingangs erwähnten MovieBarcodes-Projekt – für den gesamten Film erstellt werden. Zusätzlich wird die Sprache des Films über dessen Untertitel anhand von Wortfrequenzen und grundlegenden Sentiment-Werten (positiv / negativ) analysiert.

Die Visualisierungskomponente des Tools erlaubt es, Farbinformation und Sprachanalyse in einer parallelen Ansicht darzustellen, um so potenzielle Korrelationen zwischen dem Sentiment der Sprache und besonders markanten Schlüsselwörtern sowie auch der Farbverwendung identifizieren zu können (vgl. Abbildung 3). Zusätzlich kann jeder Frame einzeln angezeigt werden, zusammen mit dem entsprechenden Untertitel sowie einer Analyse der dominanten Farben im jeweiligen Bild.

Figure 3. Abb. 3: Analyse des Films „König der Löwen“, mit Darstellung des Farbprofils (oben), der Sentiment-Analyse (Mitte) sowie der häufigsten Wörter (unten) entlang der Zeitachse des Films.

Beispielhafte Fragestellungen, die mit dem Tool untersucht werden können:

• Gibt es charakteristische Farbprofile für Filme aus verschiedenen Genres oder Epochen?
• Korrelieren bestimmte Farben mit positiven oder negativen Sentiment-Scores, also etwa dunkle Farben bei negativer Sprache?
• Korrelieren bestimmte Farben mit Schlüsselwörtern, also etwa schwarz und lila immer dann, wenn der Bösewicht des Films auftritt?

3. Ausblick

Die in diesem Beitrag vorgestellten Prototypen beschreiben erste Versuche, Filme computergestützt anhand unterschiedlicher, automatisch quantifizierbarer Parameter zu analysieren. Im Austausch mit Kollegen aus der Medienwissenschaft werden die Tools in den nächsten Monaten praktisch erprobt und je nach Fragestellung iterativ angepasst und gegebenenfalls um weitere Funktionen ergänzt. Sobald die Prototypen weiter ausgearbeitet sind, sollen sie auch der Community über den DH-Regensburg-Blog zugänglich gemacht werden. Gleichzeitig sind weitere Prototypen angedacht, bei denen als zusätzliche Analyseparameter Gesichtserkennung (vgl. Arandjelovic / Zisserman 2005) sowie auch die Auswertung der Audiospur (vgl. Zulko 2014) umgesetzt werden sollen.

4. Danksagungen

Alle hier beschriebenen Prototypen wurden im Rahmen des Projektseminars „Digital Humanities“, im Masterstudiengang Medieninformatik an der Universität Regensburg, angefertigt. Besonderer Dank für die engagierte Umsetzung der Tools gebührt Hanns Meißner und Michael Stahl ( SubVis), Robert Jackermeier, Florian Ludwig und Alexander Uitz ( SAT) sowie Michael Kao ( MovieColors).