Planung &Analyse 

Tonalitätsanalyse

Den richtigen Ton treffen
Möglichkeiten und Grenzen

01.10.2010

von D. Grimm

Tonalitätsanalyse 

Sei es in Foren, Blogs oder Social Networks, im Web 2.0 wird überall publiziert, kommentiert und diskutiert. Insbesondere Internetforen machen einen maßgeblichen Anteil an der Meinungsbildung im Netz aus. In unzähligen Foren, die nahezu jeden Themenbereich abdecken, diskutieren allein im deutschsprachigen Raum täglich Millionen von Mitgliedern. Dabei werden Fragestellungen, Anmerkungen und Erfahrungsberichte zu Produkten und Dienstleistungen zum Teil auf sehr hohem Niveau ausgetauscht.

Unterschiedliche Studien belegen derzeit, dass der potentielle Kunde dieser Art der Kommunikation eine hohe Bedeutung zumisst und die Angaben in Foren als glaubwürdig erachtet. Viele Unternehmen haben bereits das Potential dieser frei verfügbaren Informationen erkannt und werten diese systematisch aus. Dabei haben sogenannte automatische Sentimentanalysen die Aufgabe, schnell und unkompliziert einen Überblick über die Tonalität dieser Beiträge zu liefern.

Man nehme dazu ein Wörterverzeichnis, ergänze es um ein paar Ausdrücke, gleiche die Kommentare an den hinterlegten Variablen ab und voilá: Die Maschine spuckt aus, wie viel Prozent der Beiträge positiv, negativ oder für die entsprechende Suchanfrage belanglos ist.

Grenzen der Automatisierung
Ein Blick in die Daten bringt jedoch Ernüchterung. Zunächst ist die Vielfältigkeit der deutschen Sprache seit Jahren die größte Herausforderung an automatische Indexierungs- und Tonalitätsverfahren.

Des Weiteren stellt das Web 2.0 diese Auswertungsmethode vor die aktuell unlösbare Aufgabe, dass Beiträge selten grammatikalischen Formen, geschweige denn der deutschen Rechtschreibung genügen. Weiterhin haben automatische Indexierungsverfahren zur Erschließung von textuellen Beiträgen - wie Büchern, Zeitschriften und wissenschaftlicher Literatur - an sich schon mit einer Vielzahl von Problemen zu kämpfen. So sind die Synonymerkennung, die Zerlegung der Komposita und die Stopworteliminierung nur eine Auswahl der Herausforderungen an diese Systeme. Texte aber automatisiert zu verstehen, um sie daraufhin bewerten zu können, stellt die Wissenschaft vor noch ganz andere Hürden.

Emotionen als Herausforderung
Das Social Web ist voller Emotionen und leider verfügt der Sentiment Analyser nur über wenig Sentiment. Als veranschaulichendes Beispiel soll hier der ironische Text aus der Abbildung dienen:


 
OMFG!!!!!!!!! Ich tweete von einem IPAD!! Scheisse ist das teil geil! Ich hyperventiliere!! Ganz grosses HABENWILL!!!JETZT !!!!!!!


Die Beschreibung des Aufbaus einer Sentimentanalyse lässt beim Leser zunächst einen positiver
Eindruck erwarten. Dieser dauert aber nur so lange an, bis ihm die Ironie der Aussage deutlich wird. Der Leser entwickelt innerhalb des Leseprozesses ein Gefühl für den Text. Genau hier liegt schon das erste grundlegende Problem von Sentimentanalysen. Eine Maschine fühlt nicht und ist, ähnlich wie kleine Kinder, nicht in der Lage, Ironie zu erkennen. Sogenannte Emoticons (Smilies usw.) tragen deshalb zu einer Sinngestaltung bei und müssen zugeordnet werden.

Ausdrücke wie zum Beispiel „Scheiße ist das geil" sind ebenfalls in sich ironisch. Diese erschweren die Auswertungsprozesse um den Faktor X. Unabhängig davon, wie groß das angeschaltete Wörterbuch ist, es wird nicht vollständig sein und schon gar nicht alle Wortkombinationen, die sowohl negativ als auch positiv besetzt sind, in einer sinnvollen Aneinanderreihung abbilden können.

Allein der Ausdruck geil beinhaltet in sich eine hohe Anzahl verschiedener Kombinationen. Wurden die Beiträge zudem noch um Stoppwörter reduziert, ist es schlichtweg unmöglich, einen sinnvollen Zusammenhang herzustellen. Ist dem nicht so, ist der Datenbestand extrem hoch. Wird davon ausgegangen, dass die Beiträge in ihrer ursprünglichen Form zur Verfügung stehen, existieren bei der Auswertung von Wortkombinationen weitere Probleme. Was passiert zum Beispiel, wenn die beiden Begriffe in zwei unterschiedlichen Sätzen stehen? Ist das Ergebnis dann lösungsneutral? Oder wird ein Ausdruck stärker gewichtet als der andere? Natürlich ist die Einstufung immer vom Zusammenhang abhängig. Nur wenn ein Rechner in ausreichendem Maße Zusammenhänge erkennen würde, hätten ein paar Stichpunkte ausgereicht und eine Rückwärtsanalyse hätte diesen Beitrag verfasst.

Das Unmögliche einmal angenommen: Sämtliche Begriffe, Wortkombination und Sinnausdrücke sind in einer Datenbank hinterlegt und alle erdenklichen Rechtschreibformen und -unformen enthalten. Ignoriert wird, dass Unmengen an Ressourcen benötigt werden, um dieses Unterfangen anzulegen, es zu pflegen und zu unterhalten. Werden alle diese Voraussetzungen erfüllt, so wird ein Beitrag mit dieser Datenbank abgeglichen. Ein Ergebnis wird es jedoch erst nach einer nicht absehbaren Zeitspanne geben, da die Leistungsmöglichkeiten des Systems der Performance Grenzen setzen werden. Bei einer großen Masse an Beiträgen, die von automatischen Systemen ausgewertet werden sollen, gilt somit die Faustformel: Je schneller, desto schlechter.

Der Teufel steckt im Detail
Des Weiteren macht es auch nur Sinn, vorher bereinigte Daten zu beurteilen. Ein Beispiel: Im Forum gofeminin wird eine Vielzahl von Themen von einer attraktiven Zielgruppe besprochen. Nun soll anhand eines automatisierten Verfahrens herausgefunden werden, wie die Stimmungslage zur Victoria Versicherung ist. Neben der Victoria Versicherung wird in diesem Forum aber auch noch Victoria Beckham und das Modelabel Victoria Secrets besprochen. Wird eine Bereinigung der Datenquelle unterlassen, machen die Beiträge zu den letzteren beiden Victorias das Ergebnis unbrauchbar, da die reine Wortkombination Victoria Versicherung höchst selten von den Usern ausgeschrieben wird. Die Auswertung von Beiträgen wie zum Beispiel „Meine Tochter Victoria ist bei der Allianz versichert. Die haben ihr ordentlich Probleme gemacht" macht eine vorherige Bereinigung ebenfalls nötig.

Darüber hinaus ist der Threadverlauf ein Indikator, welcher in der semantischen Analyse nicht zu vernachlässigen ist. Dabei stellt sich die Frage, ob der gesamte Thread, das heißt jeder einzelne Beitrag, bewertet wird oder nur das Ausgangsposting. Wird nur der eröffnende Beitrag bewertet und dieses Ergebnis auf alle anderen Beiträge vererbt, besteht zum einen die Möglichkeit, dass im Verlauf des Threads die Bewertung gegenteilig ausfällt, zum anderen ist es aber auch mitunter so, dass die eigentliche Fragestellung gar nicht mehr berücksichtigt wird.

Datenqualität ist entscheidend
Die Datenbasis ist somit ein entscheidender Faktor zur Bewertung von Beiträgen nach Tonalität. Nur eine ausreichend bereinigte Datenbank ermöglicht qualitativ akzeptable Daten. Deshalb empfiehlt es sich, Anbieter dieser Lösungen explizit mit diesen Fragestellungen zu konfrontieren. Jeder seriöse Anbieter wird seine Vorgehensweise in Hinblick auf diese Fragestellungen erklären und sagen können, welche Fehlerquote auf Grundlage der ausgewählten Datenbasis zu erwarten ist. Auf dieser Grundlage sollte entschieden werden ob der Anbieter, bzw. das Ergebnis, für den eigenen Gebrauch akzeptabel ist.

Zudem werden Lösungen vorgestellt, in denen im Ergebnis die Häufigkeit von Begriffen angezeigt wird, die im Zusammenhang mit einem Produkt oder Unternehmen genannt werden. Dies gibt im besten Fall eine Übersicht über Themen, die mit der Ausgangsfragestellung verwandt sind, jedoch fehlt hier der inhaltliche Bezug. Erst über diesen wird der semantische Zusammenhang, der zur Interpretation und Weiterverarbeitung der Daten nötig ist, dargestellt.

Innerhalb der Webmonitoring Anbieter hat unter anderem infospeed die unterschiedlichen Herausforderungen erkannt und bietet an, das Ergebnis einer automatischen Analyse um die Anreicherung intellektueller Auswertungen zu erweitern. Mit dieser hybriden Methode besteht nicht nur die Möglichkeit, die Stimmungslage im Web zu erfassen, sondern auf Grundlage dieser Daten auch spezifische Rückschlüsse auf die Meinungsbildung zuzulassen. Dazu wird neben der automatischen Auswertung eine intellektuelle Bewertung der Ergebnisse durch ausgebildete Researcher vorgenommen. Im Ergebnis wird somit dargestellt, was User kritisieren oder loben. Zudem werden gezielte Fragestellungen explizit beantwortet und schaffen damit einen reellen Mehrwert für die Weiterverarbeitung und Handlungsableitung aus den Daten. Trotz der vielfältigen, zum Teil ungelösten Problemstellungen existiert eine Vielzahl von Anbietern automatischer Auswertungen. Diese Verfahren seien zwar von der Wirtschaft ausdrücklich gewünscht, was aber nicht heiße, dass diese auch hinreichend umsetzbar seien, gibt Professor Dr. Klaus Lepsky, der an der Technischen Hochschule Köln an Verfahren zur linguistischen Erschließung von Texten forscht, zu bedenken.

Eine der zentralsten Fragen bei dem Vorhaben, mit automatischen Analysen zu arbeiten, ist somit der Qualitätsaspekt. Das heißt, wie hoch die Akzeptanz bei auftretenden Fehlern ist und was an falschen Ergebnissen toleriert werden kann.Da dies in der Summe in den meisten Fällen viele sein werden, eignet sich eine Sentimentanalyse bestenfalls zu einer Trenddarstellung. Es empfiehlt sich also, den Mehrwert einer Sentimentanalyse in Hinblick auf das damit angestrebte Ziel zu überprüfen.

D. Grimm, Diplom-Informationswirt war Web Specialist bei dem Webmonitoring-Unternehmen infospeed. Neben der Leitung von Social-Media-Monitoring-Projekten forschte er an der Technischen Hochschule Köln an der Relevanzbestimmung von User Generated Content.

 

Pressekontakt

Falls Sie als Journalist uns kontaktieren möchten oder weitere Informationen benötigen, können Sie sich gerne an unsere Ansprechpartnerin wenden:

VICO Research & Consulting GmbH
Dr.
Sandy Alami
Große Telegraphenstr. 2
D-50676 Köln

sandy.alamivico-research.com
Tel: 0221-99841010

Newsletter

Tragen Sie sich in unseren Newsletter ein und erfahren Sie über Events, Konferenzen, Messen und News über VICO Research und Social Media Monitoring:

>>
zum Newsletter