Präzise Tonalitäts- bzw. Sentiment Analyse

Die automatisierte Erkennung der Emotion einer Aussage ist nicht leicht.
Je nach angewandter Technologie gleicht das Ergebnis der angepriesenen Sentiment-Analyse mitunter einem Münzwurf. Nicht so bei Valuescope!
Wir sehen als Benchmark manuell ausgeführte Sentiment-Analysen, die zu ca. 80% korrekt ausgeführt werden.

 

Unsere Kompetenz sehen Sie an ein paar Satzbeispielen:

  •  “FC Bayern schlägt Schalke”
    ist als positiv für den FC Bayern zu erkennen, da er siegreich aus einem Spiel hervorgegangen ist.
  • “Brown schlägt Rihanna”
    hingegen würde man wohl eher als negative Aussage für Chris Brown erkennen wollen.
    Wir unterscheiden nach Personen und Organisationen!
  • “Postbank ist besser als Deutsche Bank”
    Dieser Satz ist positiv für die Postbank, aber neutral bis negativ für die Deutsche Bank. Die Zuorndung ist hier also davon abhängig, welcher Begriff überhaupt gesucht wird!
  • “Das Handbuch der Telekom war natürlich hilfreich #Nicht”
    An der Satzstruktur erkennen wir kontextunabhängige Ironie
  • “Schalke führt :(“
    Ohne den Emoticon wäre der Satz positiv für den Verband
  • “Jetzt ist das Oktoberfest schon vorbei :(“
    Obwohl der Emoticon “traurig” ist, ist der Satz positiv für die Veranstaltung
  • “Wer das McDonalds Essen, als sein Lieblingsessen bezeichnet, hat wahrscheinlich auch noch nie was wirklich Leckeres gegessen.“
    Wir können selbst komplexe Satzstrukturen verstehen und so diesen Satz als negativ einstufen.

 

Woran erkenne ich eine gute Tonalitätsanalyse?

Achtung: Bei der richtigen Sentimenterkennung lauern viele versteckte Tücken! Denn automatisierte Sentiment Analyse ist nicht trivial

Nicht überall, wo Sentimentanalyse drauf steht, ist eine Analyse drin

Es gibt verschiedene Ansätze für die Sentiment Analyse, die gerade für die deutsche Sprache unterschiedlich gute Qualität liefern.
Ein häufig genutzter Ansatz ist das Sammeln von positiven und negativen Sätzen und anschließender statistischer Auswertung à la “wie hoch ist die Übereinstimmung eines unbekannten Satzes mit den gesammelten positiven oder negativen Aussagen?”

Valuescope verfolgt einen anderen Ansatz – einen Regel- bzw. Grammatikbasierten.
Dafür muss die Maschine zuerst die jeweilige Sprache lernen, bevor sie die geschriebenen Sätze, Tweets und Posts inhalts-analytisch erfassen kann. Für die Analyse ist dann nicht mehr die statistische Übereinstimmung ausschlaggebend, sondern wie Verben konjugiert werden und welche grammatischen Bezüge sie haben. Unsere Computerlinguisten schreiben anhand einer vorab getroffenen Definition die grammatischen Regeln, die zu der Kategoriesierung der jeweiligen Aussagen in positiv, negativ oder neutral münden.

 

Definition von positiven, negativen und neutralen Aussagen

Manchmal fühlen wir uns wie Philosophen, die die Tonalität einer Aussage bewerten müssen. Ist beispielsweise ein Satz wie “Frau Merkel soll eine gute Bundeskanzlerin sein” positiv oder neutral gemeint?

Wir haben daher klare Regeln definiert, an denen wir uns orientieren. Damit verhindern wir, dass je nach persönlicher Meinung des Mitarbeiters die Tonalitätszuordnung variiert.

Als emotionale Aussagen bei Organisationen und Produkten werden folgende Themen eingestuft:

  • – (Kunden-) Meinungen („ich finde, dass…“)
  • – Kundenverhalten („ich kaufe gerne / ich kündige“)
  • – Verleihung von Auszeichnungen
  • – Aktienkursänderungen
  • – Wirksamkeit von Medikamenten oder Produkten
  • – Rechtsstreitigkeiten

Vorteile einer automatisierten Sentiment Analyse

  • – eine Maschine ändert ihre Meinung nicht
  • – sie bewertet alle gleichen Aussagen identisch
  • – sie wird auch nicht müde
  • – sie analysiert die Aussagen viel schneller und kostengünstiger als Menschen

Darauf sollten Sie für eine gute, automatisierte Sentiment Analyse achten:

  • Eine möglichst konkrete Definition emotionaler Aussagen, damit auch in strittigen Einzelfällen eine klare Entscheidung getroffen werden kann
  • Ein ausgezeichnetes Grammatik-Verständnis der “Maschine”, damit auch komplexe Satzstrukturen, Vergleiche von Unternehmen, etc. adäquat analysiert werden können
  • Eine stetige Überprüfung der Aussagen, denn die Sprache gerade in sozialen Kanälen schafft stetig neue Worte und Satzstrukturen, die berücksichtigt werden wollen

Weiterführende Blogbeiträge zu dem Thema:

Social Sentiment Analyse kann doch nicht so schwer sein!
… und es geht doch! Zuverlässige Tonalitätsanalyse ist möglich