Große Sprachmodelle (LLMs) sind fortschrittliche Deep-Learning-Algorithmen, die in der Lage sind, Anfragen in verschiedenen menschlichen Sprachen zu analysieren und anschließend realistische und umfassende Antworten zu generieren. Diese vielversprechende Klasse von Natural Language Processing (NLP)-Modellen ist nach der Veröffentlichung der Open AI’s ChatGPT-Plattform, die eine breite Palette von Benutzeranfragen schnell beantworten und überzeugende Texte für verschiedene Zwecke generieren kann, immer beliebter geworden.
Mit der zunehmenden Verbreitung dieser Modelle ist es von größter Bedeutung, deren Fähigkeiten und Grenzen zu bewerten. Diese Bewertungen können letztendlich dazu beitragen, die Situationen zu verstehen, in denen LLMs am nützlichsten oder am wenigsten nützlich sind, und Möglichkeiten zur Verbesserung zu identifizieren.
Juliann Zhou, eine Forscherin an der New York University, führte kürzlich eine Studie durch, um die Leistung von zwei LLMs zu bewerten, die darauf trainiert waren, menschlichen Sarkasmus zu erkennen, bei dem Ideen ironisch ausgedrückt werden, indem genau das Gegenteil von dem gesagt wird, was man eigentlich sagen möchte. Ihre Ergebnisse, die auf dem Preprint-Server arXiv veröffentlicht wurden, halfen ihr, Merkmale und algorithmische Komponenten zu umreißen, die die Fähigkeit zur Sarkasmuserkennung sowohl von KI-Agenten als auch von Robotern verbessern könnten.
„Sarkasmus-Erkennung ist im Bereich der Sentimentanalyse von Natural Language Processing notwendig, um die wahren Meinungen der Menschen zu verstehen“, schrieb Zhou in ihrem Papier. „Da die Verwendung von Sarkasmus oft kontextabhängig ist, haben frühere Forschungen Sprachrepräsentationsmodelle wie Support Vector Machine (SVM) und Long Short-Term Memory (LSTM) verwendet, um Sarkasmus mit kontextbezogenen Informationen zu identifizieren. Neuere Innovationen im NLP bieten jedoch mehr Möglichkeiten zur Erkennung von Sarkasmus.“
Sentimentanalyse ist ein Forschungsbereich, der darauf abzielt, Texte zu analysieren, die in der Regel auf sozialen Medien oder anderen Websites veröffentlicht werden, um Einblicke in die Gefühle der Menschen zu einem bestimmten Thema oder Produkt zu gewinnen. Heutzutage investieren viele Unternehmen in diesem Bereich, da dies dazu beitragen kann, wie sie ihre Dienstleistungen verbessern und die Bedürfnisse ihrer Kunden besser erfüllen können.
Es gibt mittlerweile mehrere NLP-Modelle, die Texte verarbeiten können und deren zugrunde liegende emotionale Stimmung vorhersagen können, also ob sie positive, negative oder neutrale Emotionen ausdrücken. Viele Bewertungen und Kommentare, die online veröffentlicht werden, enthalten jedoch Ironie und Sarkasmus, was dazu führen kann, dass Modelle sie als „positiv“ einstufen, wenn sie tatsächlich eine negative Emotion ausdrücken, oder umgekehrt.
Einige Informatiker versuchen daher, Modelle zu entwickeln, die Sarkasmus in geschriebenen Texten erkennen können. Zwei der vielversprechendsten Modelle, genannt CASCADE und RCNN-RoBERTa, wurden 2018 von verschiedenen Forschungsgruppen vorgestellt.
Zusammenfassend führte Zhou eine Reihe von Tests durch, um die Fähigkeit der Modelle CASCADE und RCNN-RoBERTa zu bewerten, Sarkasmus in Kommentaren auf Reddit zu erkennen, der bekannten Online-Plattform, die typischerweise zur Bewertung von Inhalten und zur Diskussion verschiedener Themen verwendet wird. Die Fähigkeit dieser beiden Modelle, Sarkasmus in den Beispielsätzen zu erkennen, wurde auch mit der durchschnittlichen menschlichen Leistung bei dieser Aufgabe (in einer früheren Arbeit berichtet) und der Leistung einiger Basismodelle zur Textanalyse verglichen.
„Wir haben festgestellt, dass kontextuelle Informationen, wie Benutzer-Personality-Embeddings, die Leistung signifikant verbessern können, ebenso wie die Integration eines Transformers RoBERTa im Vergleich zu einem traditionelleren CNN-Ansatz“, schloss Zhou in ihrem Papier. „Angesichts des Erfolgs beider kontext- und transformerbasierten Ansätze, wie in unseren Ergebnissen gezeigt, könnte die Erweiterung eines Transformers um zusätzliche kontextuelle Informationsmerkmale ein Weg für zukünftige Experimente sein.“
Die im Rahmen dieser aktuellen Studie gesammelten Ergebnisse könnten bald weitere Studien in diesem Bereich leiten und letztendlich zur Entwicklung von LLMs beitragen, die besser darin sind, Sarkasmus und Ironie in menschlicher Sprache zu erkennen. Diese Modelle könnten sich letztendlich als äußerst wertvolle Werkzeuge erweisen, um schnell Sentiment-Analysen von Online-Bewertungen, Beiträgen und anderen von Benutzern generierten Inhalten durchzuführen.
