Tools für virtuelle Zusammenarbeit wurden rasch eingerichtet und entsprechende Fähigkeiten aufgebaut. Fähigkeiten wie die Entwicklung von sozialen Kompetenzen zum Aufbau von Beziehungen und zur Bildung von sozialem Zusammenhalt in virtuellen Umgebungen, von virtueller Sichtbarkeit oder der Selbstorganisation und der Trennung von Arbeits- und Berufsleben stellen jedoch immer noch eine enorme Herausforderung dar. Dementsprechend verändert sich auch die Sicht auf den Nutzen.

Die klare Veränderung aus heutiger Sicht ist, dass die Sicherheit von Menschen und das Reduzieren von Risiken vorerst die Kosten als zentralen Einflussfaktor für digitales Lernen abgelöst haben, 

wie McKinsey festgestellt hat.

Interne Beispiele von SAP ergeben Verbesserungen bei verschiedenen Kennzahlen

• Das Programm „Global Sales Challenger“ etwa verbessert Geschäftskennzahlen: Teilnehmer generierten um 26 % höhere Umsätze, benötigten 25 % weniger Zeit für Verkaufsabschlüsse – und insgesamt waren dem Programm rund 150 Mio. € Umsatz zuzuschreiben.
• Das Social-Selling-Training für Channel-Manager steigerte die Reichweite in sozialen Medien, bei LinkedIn beispielsweise um 58 %.
• Ein Beispiel aus der Personalanalyse: SAP konzentriert sich intern auf neu ernannte Führungskräfte und überwacht Messwerte wie „Beziehung“, „Vertrauen in Führungskräfte“ oder „Beziehung – Mitarbeiterbindung“, um Verbesserungsbereiche und Schulungslücken zu ermitteln.

In einem kürzlich veranstalteten Webinar zum Nutzen von Fortbildung und Mitarbeiterentwicklung baten wir Teilnehmer um ihre konkrete Meinung. Lesen Sie hier einige Zitate zu der Frage „Welchen Nutzen hat Lernen für Sie und für Ihr Unternehmen?“:

• Verbesserung der Kenntnisse über neue Technologien
• Anpassung an den aktuellen Kontext und die aktuelle Entwicklung
• Neue Form der Zusammenarbeit von Teams per Telearbeit (neue Arbeitsmethoden)
• Verbesserung der Effizienz von Teams
• Wissensaustausch
• Möglichkeiten zur Vernetzung unter Kollegen (Lernen mit Kollegen – Peer Learning)
• Software-Benutzerakzeptanz
  

Diese Beispiele zeigen, dass Messungen für die Kommunikation, für Verbesserungen und für Entscheidungen von zentraler Bedeutung sind – sie erfolgt jedoch unterschiedlich, je nach den Zielen eines Programms oder dem Kontext. Wie können wir also den Nutzen von Lernen und Weiterbildung messen? Möglichkeiten zur Messung des Nutzens betrachten wir im nächsten Abschnitt.

Die Messung des Nutzens von Fortbildung und Mitarbeiterentwicklung

Die Auswertung der Auswirkungen von Lernaktivitäten hat im Bereich „Lernen und Personalentwicklung“ (Learning and Development, L&D) eine hohe Priorität. Dem Bericht über Lernen am Arbeitsplatz von LinkedIn zufolge („Workplace Learning Report“) hat sie für L&D-Führungskräfte höchste Priorität – noch vor der Steigerung der Motivation von Lernenden oder der Befähigung zu selbstbestimmtem Lernen.

In diesem Bericht wird außerdem dargelegt, dass die meisten L&D-Experten zur Messung Folgendes heranziehen: qualitatives Feedback von Mitarbeitern, die Anzahl von abgeschlossenen Onlinekursen, die Anzahl der Mitarbeiter, die Online-Weiterbildung nutzen, Zufriedenheit oder qualitatives Feedback über Verhaltensänderungen.

Natürlich erhält man immer nur Ergebnisse zu den Fragen, die man stellt; es ist jedoch ein guter Anhaltspunkt dafür, welche Vorgehensweisen derzeit genutzt werden.

Die Messung des Nutzens von Schulungsmaßnahmen hat eine lange Tradition. Ihre Wurzeln liegen in den Sozialwissenschaften, der Pädagogik sowie der Unterrichtsgestaltung (Instruktionsdesign). Angetrieben wird die Nutzenmessung unter anderem von Beratungsunternehmen. Zu den Zielen der Weiterbildung zählen die Entwicklung von Fähigkeiten, Wissen, Einstellungen, Verhaltensweisen und ähnlichen inneren, menschlichen Aspekten. Diese sind nicht eindeutig messbar, weshalb unterschiedliche Herangehensweisen in Betracht zu ziehen sind.

Nützliche Konzepte zur Messung des Nutzens von Lernaktivitäten

Das Vier-Ebenen-Modell von Kirkpatrick – weitere Informationen finden Sie hier

Dies ist ein älteres Modell und muss vor dem Hintergrund unserer Zeit betrachtet werden. Es wird jedoch häufig als allgemeines Rahmenwerk verwendet. Die folgenden vier Ebenen definieren den Gegenstand und die Art und Weise der Messung:

• Reaktion: das Maß, in dem die Teilnehmer eine Schulung für förderlich, ansprechend und relevant für ihre Arbeit halten. Dies wird meist anhand von Zufriedenheitsumfragen nach einer Fortbildung, etwa einer Präsenzschulung oder eines E-Learning-Kurses, gemessen.
• Lernen: das Maß, in dem Teilnehmer die geplanten Kenntnisse, Fähigkeiten, Einstellungen sowie Selbstvertrauen und Motivation durch die Schulungsteilnahme erwerben bzw. entwickeln. Dies wird häufig mithilfe von Wissenstests und praktischen Leistungssimulationen gemessen.
• Verhalten: das Maß, in dem Teilnehmer das Gelernte an ihrem Arbeitsplatz anwenden. Dies wird häufig anhand einer Verhaltensbeurteilung und der Beobachtung durch andere, etwa durch den Manager oder Teammitglieder, gemessen. Außerdem werden beispielsweise Befragungen zur Selbsteinschätzung genutzt, die nach einem vorab festgelegten Zeitraum nach einer Schulung zur Verfügung gestellt werden.
• Ergebnisse: das Maß, in dem angestrebte Ergebnisse infolge einer Schulung sowie der Leistungen zur Unterstützung und Überprüfbarkeit erreicht werden. Das können alle Kennzahlen sein, die durch eine Lernaktivität beeinflusst werden sollen, von der Fehlerhäufigkeit über Umsätze bis hin zu Zeit- oder Kosteneinsparungen.

Das ROI-Modell von Phillips – weitere Informationen finden Sie hier

Dieses Modell ist eine Weiterentwicklung des Modells von Kirkpatrick. Es umfasst zwei weitere Ebenen: Die anfängliche Ebene von Daten, die ich auch als Input bezeichnen würde, beispielsweise die Anzahl von Stunden, Schulungsteilnehmer, Ausgaben usw. Die zweite Ebene bildet der ROI (Return on Investment), anhand dessen monetäre Ergebnisse gemessen werden.

Neben diesen Ebenen enthält das Modell auch einen Prozessvorschlag mit einem empirischen, evidenzbasierten Ansatz für die Messung. Nach dem Planen der Evaluierung und dem Definieren der Kennzahlen (KPIs) sammeln Sie Daten zu den verschiedenen Ebenen. In der Datenanalyse versuchen Sie, die Daten in finanziellen Nutzen zu verwandeln und Sie berechnen einen ROI. Der beste Ansatz ist es, geschulte Personen mit nicht geschulten Personen zu vergleichen; eine andere sehr gute Möglichkeit ist die Zuteilung nach einem Zufallsverfahren. Eine gute Versuchsanordnung ist zwar schwer zu erreichen und mit einigem Aufwand verbunden, sie unterstützt jedoch die Evaluierung von Ursache und Wirkung und nicht nur wechselseitige Beziehungen.

Das High-Performance-Measurement-Impact-Modell von BrandonHall.com

Das US-Unternehmen für L&D, Beratung und Analyse hat ein weiteres Reifegradmodell entwickelt, in dem folgende Ebenen unterschieden werden:

• Taktisch: reaktive manuelle Messung auf Teamebene
• Funktional: umfasst auch ein Berichtswesen und eine fortschrittliche Datenerfassung mit entsprechenden Tools auf Geschäftsbereichsebene
• Operativ: beinhaltet zusätzliche Trendmodelle und integrierte Tools auf Geschäftsbereichsebene
• Strategisch: umfasst einen stärker proaktiven Ansatz auf Unternehmensebene, der Prognosemodelle zur Unterstützung von Managemententscheidungen enthält und der in Unternehmens-Scorecards integriert ist; außerdem misst er Leistungsergebnisse und ist nicht nur auf Input wie Schulungsveranstaltungen oder Lernstunden begrenzt.

Josh Bersin, ein bekannter Analyst, ergänzt diese Modelle durch ein ähnliches Modell. Dies ist ein guter Ansatz, um Teams im L&D-Bereich bei der Beurteilung dessen, wo sie aktuell stehen und auf welche Ebene sie sich entwickeln wollen, zu unterstützen.

Learning Analytics in der Wissenschaft

Die Hauptaufgabe von Hochschulen weltweit besteht in der Lehre und Entwicklung von Fähigkeiten, Wissen und Kompetenzen. Learning Analytics hat sich als Konzept und Praxis in der Pädagogik und in der Instruktionsdesigntheorie entwickelt. Es lässt sich als soziotechnologischer Ansatz beschreiben, der statistische Daten aus den Aktivitäten von Lernenden und deren Kontext in Lernumgebungen analysiert und visualisiert. Das Ziel von Learning Analytics besteht darin, Lehr-Lern-Prozesse und Lernumgebungen zu modellieren, zu unterstützen und zu optimieren.