Verarbeitung natürlicher Sprache – Überblick

Definition von Verarbeitung natürlicher Sprache

Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist eine faszinierende KI-Technologie, die es Menschen und Maschinen ermöglicht, in normaler Sprache miteinander zu kommunizieren. Beispiele für NLP in Aktion sind Sprachbefehle an Siri oder Übersetzungen mit Google. Beide Anwendungsfälle demonstrieren, dass Software menschliche Sprache verstehen und darauf reagieren kann.

Was hat Natural Language Processing mit KI zu tun?

Die meisten Menschen sind keine Programmierer oder Software-Profis. Und genau darum ist die Verarbeitung natürlicher Sprache eine so tolle Technologie. Software kann in kurzer Zeit viel lernen. Mit NLP können Sie selbst komplexe Software benutzen, ohne eine Expertin oder ein Experte dafür werden zu müssen. Sie können einfach einer KI beschreiben, was Sie möchten, so wie Sie es auch einem Freund oder einer Kollegin erklären würden.

Der Begriff KI deckt ein breites Spektrum von Technologien ab. Der NLP-Zweig konzentriert sich dabei auf die Herausforderungen der menschlichen Sprache. Um wirklich nützlich zu sein, müssen NLP-Lösungen mehr tun, als nur Worte zu erfassen. Sie müssen den Kontext und die Absicht hinter den Worten verstehen. Damit dies möglich wird, werden für die NLP-Entwicklung KI-Technologien wie maschinelles Lernen und Deep Learning eingesetzt.

Warum ist die Verarbeitung natürlicher Sprache so wichtig?

Natural Language Processing ermöglicht den Einsatz von Technologien, deren Bedienung für Laien ansonsten zu komplex wäre. Außerdem können Computer dank NLP Text und Sprache auf eine ganz neue Weise verstehen. Hier einige der Vorteile von NLP:

NLP erhöht die Produktivität

In Unternehmen kann die Verarbeitung natürlicher Sprache die Mitarbeitereffizienz steigern, da sie die Automatisierung von sich wiederholenden oder zeitaufwendigen Aufgaben ermöglicht. Im Kundendienst könnten z. B. NLP-gestützte Chatbots routinemäßige Kundenanfragen bearbeiten. Die Buchhaltung könnte NLP-fähige Systeme einsetzen, um wichtige Informationen aus Rechnungen und Quittungen zu ziehen und sie in eine Datenbank oder Tabelle zu übertragen.

Ein weiterer Vorteil ist, dass eine automatisierte Dateneingabe und –verarbeitung das Risiko menschlicher Fehler verringert und Arbeitsabläufe strafft. Wenn ein System die menschliche Sprache gut genug versteht, um grundlegende Aufgaben zu übernehmen, erhöht es die Produktivität, da sich die Benutzer auf wertschöpfendere Aufgaben konzentrieren können.

NLP verbessert die Customer Experience

Wenn Sie bei einem Anruf in einem Unternehmen in einem endlosen Telefonmenü hängen bleiben, erleben Sie ein interaktives Sprachdialogsystem, das nicht optimal trainiert wurde. Ein gut trainierter NLP-Chatbot hingegen bietet den Kunden eine intuitivere Erfahrung. Eine E-Commerce-Website mit einem NLP-fähigen System kann z. B. analysieren, welche Produkte ein Kunde auf der Website angesehen hat. Indem das System versteht, welche Produkte für einen Kunden von Interesse sind, kann es ihm weitere Produkte vorschlagen, die ihm wahrscheinlich gefallen werden.

NLP-gestützte Chatbots für den Kundenservice verbessern die Customer Experience, da schneller Fragen beantwortet oder Probleme gelöst werden. Diese Chatbots können so konzipiert werden, dass sie den vollständigen Verlauf der Interaktionen eines Kunden erfassen und frühere Probleme erkennen.

NLP liefert neue Erkenntnisse

Wenn Sie jemals eine E-Mail an ein Unternehmen geschickt haben, um eine Frage zu stellen, einen Verbesserungsvorschlag zu machen oder sich zu beschweren, hatten Sie vielleicht das Gefühl, dass niemand Ihre E-Mail liest. Und das ist auch durchaus möglich, denn nur die wenigsten Unternehmen haben die Zeit, sämtliches Feedback tatsächlich zu lesen. Aber NLP-gestützte KI hat die Zeit. Sie kann riesige Datensätze durchsuchen, wie z. B. Kundeninteraktionen auf Websites. Anschließend kann sie den Unternehmen eine fundierte Zusammenfassung dieser Interaktionen liefern, damit das Unternehmen das Problem lösen kann.

Wie funktioniert Natural Language Processing?

Im Folgenden wird erläutert, wie die Verarbeitung natürlicher Sprache die Konversation zwischen Mensch und Maschine ermöglicht. Die folgenden Schritte gelten für Sprache in Form von Text. Bei NLP für gesprochene Sprache variiert der Ablauf geringfügig, folgt aber grundsätzlich den gleichen Prinzipien.

Lassen Sie uns anhand eines Beispielsatzes zeigen, wie das Ganze funktioniert:

„Ich erkläre gerne, wie die Verarbeitung natürlicher Sprache funktioniert.“

Der Algorithmus beginnt mit der Textvorverarbeitung.

Textvorverarbeitung

Unter Textvorverarbeitung versteht man die Vereinfachung des vom Menschen erstellten Textes, um den NLP-Algorithmen die Verarbeitung der menschlichen Sprache zu erleichtern.

• Tokenisierung

Bei der Tokenisierung werden die Wörter und Satzzeichen in einem Satz in Token zerlegt. Die Tokenisierung ist wichtig, weil es für NLP-Algorithmen effizienter ist, Token statt Text zu verarbeiten, wenn es um Aufgaben wie Indizierung und Suchen geht. Der Beispielsatz besteht aus neun Wörtern: „Ich erkläre gerne, wie die Verarbeitung natürlicher Sprache funktioniert“. Der Satz enthält auch ein Komma und einen Punkt. Es sind also neun Token, wenn Sie nur die Wörter zählen, und insgesamt elf Token, wenn zusätzlich der Token für den Punkt und der Token für das Komma berücksichtigt werden.

• Kleinschreibung

Bei der Kleinschreibung werden alle Token in Kleinbuchstaben umgewandelt, um den Datensatz zu vereinfachen. In dem Beispielsatz war eines der Token „Ich“. Um Mehrdeutigkeit zu vermeiden und die Effizienz zu erhöhen, werden diese großgeschriebenen Zeichen durch die Kleinschreibung in „ich“ umgewandelt. Die Regeln für die Kleinschreibung werden in anderen Teilen des Prozesses noch komplizierter.

• Entfernen von Stoppwörtern

Eine weitere Möglichkeit, den Text für die Verarbeitung natürlicher Sprache zu vereinfachen, besteht darin, Wörter zu entfernen, die keine signifikante Bedeutung haben. Diese werden Stoppwörter genannt. In dem Beispielsatz würden die Wörter „ich“ und „wie“ normalerweise als Stoppwörter bezeichnet werden. Wenn ein Algorithmus sie entfernt, bleiben neun Token übrig, nämlich „erkläre“, „gerne“, „,“, „die“, „Verarbeitung“, „natürlicher“, „Sprache“, „funktioniert“ und „.“.

• Stemming und Lemmatisierung

Selbst mit den verbleibenden neun Token gibt es noch Raum für weitere Vereinfachungen. Eine Methode – das Stemming – besteht darin, ein Wort auf seine Grund- oder Stammform zu reduzieren. Das Token „erkläre“ ist ein Wort, das auf dem Stamm „erklär“ aufbaut, so wie „natürlich“ auf „natur“ aufbaut, also ersetzt das Modell die ursprünglichen Token durch die Stämme „erklär“ und „natur“.

Ein Wort kann in verschiedenen Kontexten unterschiedliche Bedeutungen haben. Bei der Lemmatisierung wird die richtige Bedeutung in einem bestimmten Kontext ermittelt. Der Beispielsatz enthält „gerne“, was „mit Vergnügen“ oder „ohne Weiteres“ bedeuten kann. In diesem Fall würde die Lemmatisierung dazu führen, dass der Kontext zugewiesen wird, in dem „gerne“ „mit Vergnügen“ bedeutet.

Textdarstellung

Der nächste Schritt ist die Textdarstellung, d. h. die Umwandlung von Wörtern in ein numerisches Format, das von einer Maschine verarbeitet werden kann. Neben Zahlen kann Text auch in Vektoren oder Einbettungen umgewandelt werden, also in komplexere Formate, die Informationen wie den Kontext liefern.

• Bag of Words (BoW)

Wenn Computer eines gut können, dann ist es zählen. Bei der BoW-Messung wird gezählt, wie oft ein Wort in einem Dokument vorkommt. Wenn beispielsweise die Wörter Mannschaft, Spiel und Ergebnis in einem Dokument häufig vorkommen, handelt es sich bei dem Kontext mit größerer Wahrscheinlichkeit um Sport. In dem Beispielsatz kommt jedes Wort nur einmal vor. Dies zeigt auch die BoW-Darstellung:

{“ich”: 1, “erkläre”: 1, “gerne”: 1, “wie”: 1, “die”: 1, “verarbeitung”: 1, “natürlicher”: 1, “sprache”: 1, “funktioniert”: 1}

• TF-IDF (Term Frequency-Inverse Document Frequency)

TF-IDF verwendet eine Formel, die darauf basiert, wie oft ein Datensatz mit mehreren Dokumenten ein Wort enthält, um die Bedeutung eines Wortes zu bestimmen. Je häufiger ein Wort auftaucht, desto niedriger ist sein TF-IDF-Wert und desto weniger wichtig ist es in einem Dokument. Wörter wie „die“ und „ein“ kommen recht häufig vor und sind daher weniger wichtig. Die Werte unseres Beispielsatzes würden in etwa wie folgt abgebildet werden, wobei häufige Wörter einen niedrigeren Wert haben und seltene Wörter einen höheren Wert haben:

{“ich”: 0.1, “erkläre”: 0.3, “gerne”: 0.1, “wie”: 0.1, “die”: 0.1, “verarbeitung”: 0.5, “natürlicher”: 0.2, “sprache”: 0.2, “funktioniert”: 0.1}

Textanalyse

Bei der Textanalyse wird von dem NLP-Algorithmus eine Bedeutung aus einem Text extrahiert. So kann der Algorithmus passende Antworten auf die Anfrage eines Benutzers geben.

• Eigennamenerkennung

Nach der quantitativen Analyse suchen NLP-Algorithmen als Nächstes nach Wörtern, die als Bezeichnungen für etwas stehen. Im Englischen verweist das Wort Apple auf eine Obstsorte, aber auch auf ein Unternehmen. Ein NLP-Algorithmus muss den Unterschied erkennen können. Der Beispielsatz „Ich erkläre gerne, wie die Verarbeitung natürlicher Sprache funktioniert“ enthält den Begriff „Verarbeitung natürlicher Sprache“. Hier lässt sich die Bezeichnung für eine KI-Technologie erkennen. Dies wird wie folgt dargestellt:

Ausgabe der Eigennamenerkennung: [(“Verarbeitung natürlicher Sprache”, “Technologie”)]

• Stimmungsanalyse

Einige Datensätze, wie z. B. ein Katalog mit Ersatzteilen für Rasenmäher, drücken eventuell keine emotionale Stimmung aus. Aber eine Filmkritik kann eine starke emotionale Stimmung aufweisen. Wenn ein Datensatz eine Stimmung aufweist, wird diese Stimmung durch die Stimmungsanalyse im Rahmen der Verarbeitung natürlicher Sprache erfasst. Für den Beispielsatz könnte die Stimmungsanalyse wie folgt aussehen:

Stimmungsanalyse: Positiv

Syntaxanalyse

Jeder Satz verfügt über eine grammatische Struktur. Bei der Syntaxanalyse wird diese Struktur analysiert, um Substantive, Verben, Subjekte usw. zu finden. Dies ist wichtig, da verschiedene Sprachen eine unterschiedliche Syntax verwenden, sodass die Syntaxanalyse für die maschinelle Übersetzung eine wichtige Rolle spielt. Für den Beispielsatz könnte die Syntaxanalyse folgendes Ergebnis liefern:

Syntaxbaum: (ROOT (S (NP (PRP Ich)) (VP (V erkläre) (ADV gerne) (SBAR (WHADVP (PWAV wie)) (S (NP (ART die) (N Verarbeitung) (NP (ADJ natürlicher) (N Sprache))) (VP (V funktioniert)))))))

Je nach Algorithmus folgen noch weitere Schritte. Das Ergebnis ist ein Gespräch, bei dem die Maschine Ihre Worte und Absichten zu verstehen scheint und Ihnen in natürlicher Sprache antwortet.

Welche Aufgaben kann NLP übernehmen?

Steuerung einer Drohne mit Sprachbefehlen

Selbst die leistungsstärkste Technologie entfaltet nur dann ihr volles Potenzial, wenn sie richtig genutzt wird. Genau hier setzt Natural Language Processing an: Durch sie wird Technologie zugänglicher. Komplexes Fachwissen ist nicht länger Voraussetzung, um moderne Software oder Geräte nutzen zu können. Benutzer können über natürliche Gespräche mit NLP-fähigen Systemen interagieren, anstatt komplexe Befehle eingeben, Code programmieren oder physische Bedienelemente nutzen zu müssen.

Mit einer Fernsteuerungs-App für kleine Drohnen genügt z. B. ein einfacher Sprachbefehl, um die Drohne in der Luft drehen zu lassen – ganz ohne komplexe Steuerelemente bedienen zu müssen. Dadurch, dass einfache Sprachbefehle verwendet werden können, können mehr Menschen die Technologie nutzen.

Bessere Einblicke für das Markenmanagement

Menschen äußern täglich ihre Gedanken und Vorlieben, und viele dieser Daten stehen den Unternehmen zur Verfügung. So nutzen Unternehmen beispielsweise bereits Daten aus Produktverkäufen, um Einblicke in das Kundenverhalten zu erhalten. Mithilfe von Lösungen zur Verarbeitung natürlicher Sprache können Computer auch Beiträge in sozialen Medien und Online-Kundenrezensionen in verwertbare Informationen umwandeln.

Die Erkenntnisse aus der Verarbeitung natürlicher Sprache unterscheiden sich grundlegend von klassischen Verkaufsanalysen. Während Verkaufszahlen vor allem für operative Aufgaben wie Prognosen oder Ressourcenplanung herangezogen werden, liefern NLP-basierte Auswertungen wertvolle Impulse für das Markenmanagement und die Optimierung der Customer Experience.

Vorbeugung gegen die Informationsflut

Wer eine berufliche E-Mail-Adresse hat, kennt das Gefühl: Die Flut an Nachrichten scheint oft kein Ende zu nehmen. Mitarbeitende erhalten im Durchschnitt über 120 E-Mails pro Tag, und so ist es nicht verwunderlich, dass etwa 60 % der Beschäftigten interne E-Mails einfach ignorieren. Wenn Ihre E-Mail-Anwendung jedoch über NLP-Funktionen verfügt, kann sie Ihnen dabei helfen, die Informationsflut zu bewältigen. Eine NLP-gestützte Anwendung kann E-Mails filtern, kategorisieren und priorisieren, sodass wichtige E-Mails auch wirklich gelesen werden.

Ähnlich unterstützen NLP-Systeme, die in Lösungen zur Unterstützung der Zusammenarbeit integriert sind, Unternehmen dabei, Meetings zu transkribieren und zusammenzufassen. Sie erkennen und erfassen zentrale Aussagen und dokumentieren zugewiesene Aufgaben. Diese Form der NLP-gestützten Automatisierung spart nicht nur Zeit, sondern steigert auch die Effizienz im gesamten Unternehmen.

Anwendungsfälle für die Verarbeitung natürlicher Sprache

Natural Language Processing treibt die Transformation in Branchen voran. NLP-Anwendungen steigern die Mitarbeitereffizienz, verbessern die Customer Experience und ermöglichen fundierte Entscheidungen – und das in unterschiedlichsten Bereichen. Hier sind einige praxisnahe Beispiele für den Einsatz von NLP in verschiedenen Branchen.

Verschiedene Ansätze für Natural Language Processing

Die meisten Ansätze zur Verarbeitung natürlicher Sprache lassen sich grob in zwei Hauptkategorien einteilen: regelbasierte Modelle und Modelle, die auf maschinellem Lernen basieren.

Regelbasierte NLP-Modelle

Dieser Ansatz basiert auf der Erkennung sprachlicher Regeln, denen ein Computer folgen kann, um menschliche Sprache zuverlässig zu verstehen und zu erzeugen. Er orientiert sich stark an den sprachlichen Grundlagen der Computerlinguistik. Regelbasierte Modelle eignen sich besonders gut für Szenarien mit kontrollierter und vorhersehbarer Sprache, z. B. bei juristischen Texten oder technischen Dokumentationen.

Auf maschinellem Lernen basierte NLP-Modelle

Ein NLP-Ansatz auf Basis von maschinellem Lernen nutzt verschiedene statistische Verfahren und algorithmische Modelle. Hier werden keine Regeln vorgegeben, stattdessen soll der Computer anhand großer Datenmengen eigenständig lernen zu kommunizieren. Die Idee ist, dass der Computer, sobald er genügend Beispiele menschlicher Sprache verarbeitet hat, die Muster erkennt, die gute menschliche Sprache ausmachen. Wenn man über ausreichend große Datensätze verfügt, zeigen NLP-Ansätze auf Basis von maschinellem Lernen ein hohes Maß an Flexibilität und liefern dabei oft beeindruckend präzise Ergebnisse.

Ein kurzer Rückblick auf die Geschichte der Verarbeitung natürlicher Sprache

Natural Language Processing, ein Teilbereich der künstlichen Intelligenz, nahm in den 1940er Jahren ihren Anfang. In den 1980er und 1990er Jahren gewann sie durch leistungsfähigere Computer und erste Fortschritte im maschinellen Lernen zunehmend an Bedeutung. Heute verändern Deep Learning, neuronale Netze und verschiedene Formen der generativen KI die Art und Weise, wie Computer Sprache verarbeiten, grundlegend.

Ereignisse in der Geschichte von NLP

• 1940er | Erste NLP-Entwicklungen, darunter das Weaver-Memorandum zur maschinellen Übersetzung
• 1950er | Einführung der „Universalgrammatik“; Formulierung des Turing-Tests; Entwicklung von Deep Learning
• 1960er | Entwicklung von Chatbots wie ELIZA und linguistischen Theorien, die NLP unterstützen
• 1970er | Entwicklung der Kasusgrammatik-Theorie und von semantischen Netzwerken; Weiterentwicklung von regelbasierten Systemen und Chatbots
• 1980er | Entwicklung früher Algorithmen des maschinellen Lernens; Weiterentwicklung von Spracherkennungstechnologien; Erweiterung der Computerlinguistik und Entwicklung der RNN-Theorie
• 1990er | Entwicklung statistischer Modelle und LSTMs; Vormarsch der maschinellen Übersetzung
• 2000er | Schneller Fortschritt bei maschinellem Lernen und neuronalen Sprachmodellen; einfacherer Zugriff auf große Mengen sprach- und textbasierter Daten
• 2010er | Deutliche Zunahme der verfügbaren Daten und Rechenleistung und dadurch eine Beschleunigung der Entwicklung von Deep Learning
• 2020er | Zunehmende Bedeutung von großen Sprachmodellen, vortrainierten Sprachmodellen und Transformatoren

Technische Übersicht über die Verarbeitung natürlicher Sprache

Die Verarbeitung natürlicher Sprache oder Natural Language Processing ist ein Oberbegriff, der verschiedene Technologien und Techniken umfasst, die es Maschinen ermöglichen, menschliche Sprache zu verstehen und zu erzeugen. Alle Technologien, die auf NLP basieren, lassen sich grundsätzlich in eine von zwei Kategorien einordnen.

NLP-Unterkategorien

Die Verarbeitung natürlicher Sprache umfasst verschiedene Technologien und Techniken. Der Hauptzweck von Natural Language Processing besteht jedoch darin, dass Maschinen die menschliche Sprache verstehen und erzeugen können. Die folgenden beiden Funktionen bilden die zentralen Bausteine der Verarbeitung natürlicher Sprache.

• Natural Language Understanding (NLU): Natural Language Understanding bezeichnet das inhaltliche Erfassen und die Interpretation menschlicher Sprache. NLU-Systeme analysieren dafür die Syntax und Semantik und verstehen, wie sich der Kontext auf die Bedeutung der menschlichen Sprache auswirkt. Typische Anwendungsbeispiele sind die Beantwortung gesprochener Fragen oder das Ausführen von Aufgaben anhand von Sprachbefehlen.
• Natural Language Generation (NLG): Natural Language Generation bezeichnet die Erstellung menschenähnlicher Texte oder Sprache. Dazu müssen NLG-Systeme in der Lage sein, unstrukturierte Daten in natürlich-klingende Sprache umzuwandeln. Das kann bedeuten, dass sie Informationen zusammenfassen oder sogar Unterhaltungen führen.

Die Bedeutung von maschinellem Lernen für NLP

Was wäre möglich, wenn ein Computer sich eigenständig neue Fähigkeiten aneignen könnte? Genau darum geht es beim maschinellen Lernen. Computer lernen, Aufgaben selbstständig zu lösen – ganz ohne explizite Anweisungen.

Im Bereich der Verarbeitung natürlicher Sprache dient maschinelles Lernen dazu, Modelle zu entwickeln, die Sprache sowohl verstehen als auch selbst generieren können. Dabei kommen Methoden wie das überwachte Lernen zum Einsatz, bei dem Modelle mit gelabelten Daten trainiert werden, sowie unüberwachtes Lernen, bei dem Modelle mit ungelabelten Daten trainiert werden.

Die Bedeutung von Deep Learning für NLP

Deep Learning ist eine spezielle Form des maschinellen Lernens. Hier kommen neuronale Netze mit mehreren Schichten zum Einsatz, daher auch der Begriff „deep“. „Learning“ bedeutet in diesem Zusammenhang, dass Algorithmen eingesetzt werden, um komplexe Muster in Datensätzen zu erkennen und anschließend zu modellieren. Im Bereich der Verarbeitung natürlicher Sprache hat Deep Learning einen echten Qualitätssprung ermöglicht, wie z. B. bei Übersetzungen, Stimmungsanalysen oder der Generierung von Texten.

Neuronale Netze als Treiber für NLP

Neuronale Netze orientieren sich für die Verarbeitung von Daten an der Funktionsweise des menschlichen Gehirns. Sie ermöglichen es NLP-Systemen, menschliche Sprache nicht nur zu verstehen, sondern auch zu erzeugen. Je nach Einsatzbereich kommen bei neuronalen Netzen unterschiedliche Architekturen zum Einsatz, die die Grundlage für virtuelle Assistenten, Chatbots oder die automatisierte Textanalyse bilden.

Computerlinguistik und NLP

Die Computerlinguistik verbindet Informatik und Sprachwissenschaft und legt das theoretische Fundament für die Verarbeitung natürlicher Sprache. Ziel ist es, dass Computer die menschliche Sprache verstehen.

• Syntax

Untersucht die Struktur und Grammatik von Sätzen.

Richtige Syntax: „Die Katze sitzt auf der Matte.“

Falsche Syntax: „Katze die auf Matte sitzt.“

• Semantik

Untersucht die Bedeutung der Worte, einschließlich der Art und Weise, wie Wörter und Formulierungen Objekte, Handlungen und Ideen darstellen.

Satz: „Die Katze sitzt auf der Matte.“

Semantische Interpretation: Der Satz bedeutet, dass sich eine Katze physisch oben auf einer Matte befindet.

• Pragmatik

Untersucht, wie der Kontext die Interpretation der Worte beeinflusst.

Satz: „Kannst du mir das Salz geben?“

Pragmatische Interpretation: Obwohl es sich um eine Frage nach einer Fähigkeit handelt, zeigt der Kontext, dass es sich um eine höfliche Bitte handelt, das Salz weiterzureichen.

Die Computerlinguistik spielt eine zentrale Rolle, weil sie die Brücke zwischen sprachwissenschaftlicher Theorie und praktischer Anwendung von NLP schlägt.

FAQ

Mehr erfahren