Kennzahlen helfen uns zu verstehen, was funktioniert, was nicht und warum. Wie alles andere können wir die Performance von maschinellem Lernen messen, um die Effektivität unserer Modelle für maschinelles Lernen zu messen.
Ein wichtiger Teil von MLOps: Die Performance-Metriken für maschinelles Lernen werden verwendet, um die Genauigkeit von Modellen für maschinelles Lernen zu bewerten, damit Datenwissenschaftler und Praktiker für maschinelles Lernen verstehen, wie gut ihre Modelle funktionieren und ob sie die gewünschten Ziele erreichen.
In diesem Artikel werden die Arten von Performance-Metriken für maschinelles Lernen und wichtige Konzepte für Performance-Metriken für maschinelles Lernen wie Genauigkeit, ROC-Kurve und F1-Wert erläutert.
Warum sind Kennzahlen zur Performance von maschinellem Lernen wichtig?
Leistungsmetriken für maschinelles Lernen helfen bei verschiedenen wichtigen Aspekten des maschinellen Lernens, darunter:
Modellauswahl
Performance-Metriken helfen beim Vergleich verschiedener Modelle und bei der Auswahl des leistungsstärksten Modells für eine bestimmte Aufgabe oder einen bestimmten Datensatz. Wenn ein Modell beispielsweise falsch positive Ergebnisse minimieren muss, wird Präzision zu einer kritischen Kennzahl für die Bewertung.
Modellabstimmung
Metriken leiten den Prozess der Hyperparameter-Tuning und -Optimierung, um die Modell-Performance zu verbessern. Durch die Analyse der Auswirkungen von Änderungen bei Hyperparametern auf Metriken wie Genauigkeit, Präzision oder Rückruf können Ärzte Modelle für bessere Ergebnisse feinabstimmen.
Auswirkungen auf das Geschäft
Performance-Metriken sind direkt mit den Geschäftszielen verbunden, die das Modell für maschinelles Lernen erfüllen soll. In einer Gesundheitsanwendung könnte beispielsweise ein Modell mit hohem Abruf (um falsch negative Ergebnisse zu minimieren) effektiver sein als ein Modell mit hoher Präzision.
Modell-Drift
Nach der Implementierung hilft die Überwachung von Performance-Metriken, Modellverschlechterungen oder „Drifts“ zu erkennen. Dies ist sehr wichtig, um die Zuverlässigkeit und Effektivität von Systemen für maschinelles Lernen in realen Anwendungen aufrechtzuerhalten.
Arten von Performance-Kennzahlen für maschinelles Lernen
Es gibt verschiedene Arten von Performance-Metriken für maschinelles Lernen, von denen jede einen wichtigen Winkel zur Performance eines Modells für maschinelles Lernen bietet.
Genauigkeit
Die Genauigkeit ist die einfachste Kennzahl. Es handelt sich um das Verhältnis von korrekt vorhergesagten Instanzen zu Gesamtinstanzen im Datensatz. Genauigkeit ist für ausgewogene Datensätze nützlich, wenn alle Klassen gleich wichtig sind.
Präzision
Präzision konzentriert sich auf den Bruchteil relevanter Instanzen unter den abgerufenen Instanzen. Es ist die Fähigkeit des Klassifikators, eine Probe, die negativ ist, nicht als positiv zu kennzeichnen. Präzision ist entscheidend, wenn die Kosten für falsch positive Ergebnisse hoch sind, z. B. bei der medizinischen Diagnose oder Betrugserkennung.
Rückruf (Empfindlichkeit)
Recall misst die Fähigkeit des Klassifikators, alle relevanten Fälle innerhalb eines Datensatzes zu finden. Es ist die Fähigkeit des Klassifikators, alle positiven Proben zu finden. Der Rückruf ist wichtig, wenn das Verpassen positiver Fälle (falsche negative Ereignisse) wichtiger ist als falsch positive Ereignisse. Bei der Krebserkennung ist es beispielsweise wichtig, alle tatsächlichen Fälle zu erfassen, selbst wenn dies einige Fehlalarme bedeutet.
F1-Wert
Der F1-Score ist der harmonische Mittelwert von Präzision und Erinnerung und bietet eine ausgewogene Kennzahl, die sowohl falsch-positive als auch falsch-negative Ergebnisse berücksichtigt. Dies ist besonders nützlich, wenn es um unausgewogene Datensätze geht. Verwenden Sie den F1-Wert, wenn Sie Präzision und Erinnerung ausgleichen möchten und es eine ungleichmäßige Klassenverteilung gibt oder wenn falsch-positive und falsch-negative Ergebnisse ähnliche Gewichtungen haben.
ROC-Kurve und AUC
Die ROC-Kurve (Receiver Operating Characteristics) stellt die wahre positive Rate (Recall) gegenüber der falsch-positiven Rate für verschiedene Schwellenwerte dar. Der Bereich unter der ROC-Kurve (AUC) bietet ein aggregiertes Maß für die Performance über alle Schwellenwerte hinweg. ROC-Kurven und AUC sind besonders nützlich bei binären Klassifizierungsaufgaben, um die Kompromisse zwischen echten und falschen Positiven an verschiedenen Entscheidungsschwellenwerten zu verstehen. AUC ist nützlich bei der Auswahl von Ungleichgewichten und Schwellenwerten.
Spezifität
Die Spezifität misst den Anteil der tatsächlichen negativen Fälle, die vom Klassifikator korrekt als negativ identifiziert werden. Er ergänzt den Rückruf (Sensibilität), indem er sich auf echte Negative konzentriert. Die Spezifität ist in Szenarien wichtig, in denen die richtige Identifizierung negativer Fälle von entscheidender Bedeutung ist, z. B. bei Tests zum Krankheitsscreening, bei denen Fehlalarme zu unnötigen Behandlungen oder Kosten führen können.
Mean Absolute Error (MAE) und Root Mean Squared Error (RMSE)
Diese Metriken werden häufig in Regressionsaufgaben verwendet, um die durchschnittliche Fehlergröße zwischen vorhergesagten und tatsächlichen Werten zu messen. MAE und RMSE eignen sich für Regressionsprobleme, bei denen das absolute Ausmaß an Fehlern wichtig ist, wie z. B. die Vorhersage von Wohnungspreisen oder Verkaufsprognosen.
Diese Kennzahlen zu verstehen und die geeigneten auf der Grundlage der spezifischen Problemdomäne und Geschäftsanforderungen auszuwählen, ist entscheidend für die Entwicklung effektiver und zuverlässiger Modelle für maschinelles Lernen. Jede Kennzahl bietet einzigartige Einblicke in verschiedene Aspekte der Modell-Performance, sodass Ärzte während der Modellentwicklung, -bewertung und -bereitstellung fundierte Entscheidungen treffen können.
Lassen Sie uns einen tieferen Einblick in jede Kennzahl nehmen.
Genauigkeit
Genauigkeit ist eine Performance-Metrik, die zur Bewertung der Gesamtkorrektheit eines Modells für maschinelles Lernen verwendet wird. Es misst das Verhältnis von korrekt vorhergesagten Instanzen zur Gesamtzahl der Instanzen im Datensatz. Mit anderen Worten: Die Genauigkeit quantifiziert, wie oft das Modell aus allen getroffenen Vorhersagen korrekte Vorhersagen trifft.
Mathematisch wird die Genauigkeit wie folgt berechnet:
Genauigkeit = Anzahl korrekter Vorhersagen/Gesamtanzahl der Vorhersagen ×100 %
Hier ein Beispiel, um zu veranschaulichen, wie Genauigkeit funktioniert:
Angenommen, wir haben ein binäres Klassifizierungsproblem, bei dem wir vorhersagen möchten, ob eine E-Mail Spam ist oder nicht. Wir haben einen Datensatz mit 100 E-Mails, von denen 80 kein Spam und 20 Spam sind. Nach dem Training unseres Modells für maschinelles Lernen werden 70 der 80 Non-Spam-E-Mails und 15 der 20 Spam-E-Mails korrekt klassifiziert.
Genauigkeit=70+15/100 ×100 %=85 %
In diesem Fall liegt die Genauigkeit unseres Modells also bei 85 %, was darauf hindeutet, dass es 85 von 100 E-Mails richtig klassifiziert hat.
Genauigkeit ist eine geeignete Kennzahl zur Bewertung der Modellleistung in Szenarien, in denen alle Klassen gleich wichtig sind und es kein Klassenungleichgewicht im Datensatz gibt.
Anwendungsfälle
Zu den Szenarien, in denen Genauigkeit geeignet ist, gehören:
- E-Mail-Spam-Klassifizierung: Feststellung, ob eine E-Mail Spam ist oder nicht
- Stimmungsanalyse: Kundenbewertungen als positiv, negativ oder neutral einstufen
- Bildklassifizierung: Identifizieren von Objekten in Bildern wie Katzen, Hunden oder Autos
- Diagnose der Erkrankung: Vorhersage, ob ein Patient eine bestimmte Krankheit hat, basierend auf medizinischen Testergebnissen
Einschränkungen
Genauigkeit hat einige Einschränkungen und Überlegungen, wenn sie als einzige Performance-Metrik verwendet wird, darunter:
Klassenungleichgewicht: Genauigkeit kann irreführend sein, wenn Klassen unausgewogen sind, was bedeutet, dass eine Klasse viel häufiger ist als andere. In einem Datensatz mit 95 % negativen Beispielen und 5 % positiven Beispielen würde beispielsweise ein Modell, das immer negativ vorhersagt, eine Genauigkeit von 95 % erreichen, wäre aber nicht nützlich, um positive Fälle zu identifizieren.
Ungleiche Kosten: Bei einigen Anwendungen kann die falsche Klassifizierung einer Klasse schwerwiegendere Folgen haben als die falsche Klassifizierung einer anderen Klasse. Bei der medizinischen Diagnose kann beispielsweise ein falsch negatives Ergebnis (fehlende Erkrankung) kritischer sein als ein falsch positives Ergebnis (falsche Diagnose einer Erkrankung). Die Genauigkeit unterscheidet nicht zwischen diesen Arten von Fehlern.
Berücksichtigt nicht das Vorhersagevertrauen: Die Genauigkeit behandelt alle Vorhersagen gleich, unabhängig davon, wie zuversichtlich das Modell in seinen Vorhersagen ist. Ein Modell, das mit den richtigen Vorhersagen sehr vertraut ist, aber mit den falschen Vorhersagen weniger vertraut ist, kann immer noch eine hohe Genauigkeit aufweisen, selbst wenn es insgesamt nicht gut abschneidet.
Erfasst nicht die Modell-Performance über verschiedene Gruppen hinweg: Die Genauigkeit zeigt nicht, wie gut ein Modell bei bestimmten Untergruppen oder Klassen innerhalb des Datensatzes abschneidet. Sie behandelt alle Klassen gleich, was möglicherweise nicht die reale Bedeutung verschiedener Klassen widerspiegelt.
Um diese Einschränkungen anzugehen, ist es wichtig, zusätzliche Performance-Metriken wie Präzision, Rückruf, F1-Wert, Fläche unter der Receiver-Operating-Characteristic-Kurve (AUC-ROC) und eine Analyse der Verwirrungsmatrix basierend auf den spezifischen Merkmalen der Problemdomäne und den Geschäftsanforderungen zu berücksichtigen. Diese Metriken bieten differenziertere Einblicke in die Performance von Modellen für maschinelles Lernen, die über das hinausgehen, was Genauigkeit allein bieten kann.
Präzision und Rückruf
Präzision und Rückruf sind zwei wichtige Performance-Metriken, die verwendet werden, um die Effektivität von Modellen für maschinelles Lernen zu bewerten, insbesondere bei binären Klassifizierungsaufgaben.
Präzision misst die Genauigkeit der positiven Vorhersagen des Modells. Es handelt sich um das Verhältnis von echten positiven Vorhersagen zur Gesamtzahl der positiven Vorhersagen, die das Modell macht.
Präzision=Wahre Positive/Wahre Positive+Falsche Positive
Präzision ist wichtig, da sie uns sagt, wie viele der vom Modell als positiv vorhergesagten Instanzen tatsächlich positiv sind. Eine hohe Präzision zeigt an, dass das Modell weniger falsch positive Ergebnisse aufweist, was bedeutet, dass es in der Lage ist, Fehlalarme zu vermeiden.
Rückruf=Richtige Positive/Richtige Positive+Falsche Negative
Rückruf ist wichtig, da er uns sagt, wie viele der tatsächlich positiven Instanzen das Modell erfassen kann. Ein hoher Rückruf weist darauf hin, dass das Modell die positivsten Instanzen effektiv erkennen und so falsche negative Ergebnisse minimieren kann.
Kompromiss zwischen Präzision und Rückruf
Es gibt in der Regel einen Kompromiss zwischen Präzision und Rückruf. Die Steigerung der Präzision führt oft zu einer Abnahme des Rückrufs und umgekehrt. Dieser Kompromiss entsteht, weil die Anpassung des Entscheidungsschwellenwerts eines Modells die Anzahl der echten und falschen positiven/negativen Ergebnisse beeinflusst.
Hohe Präzision, geringer Abruf: Das Modell ist vorsichtig und konservativ, wenn es Fälle als positiv bezeichnet. Es ist vorsichtig, falsche positive Ergebnisse zu vermeiden, kann aber einige tatsächliche positive Ergebnisse übersehen, was zu einem geringen Rückruf führt.
Hoher Abruf, geringe Präzision: Das Modell ist bei der Kennzeichnung von Instanzen als positiv liberaler und erfasst die meisten tatsächlichen positiven Ergebnisse, generiert aber auch mehr falsche positive Ergebnisse, was zu einer geringen Präzision führt.
Anwendungsfälle
Präzision und Rückruf sind besonders nützliche Metriken bei:
Medizinische Diagnose: Bei der medizinischen Diagnose ist der Rückruf (Sensibilität) oft wichtiger als die Präzision. Es ist wichtig, alle positiven Fälle (z. B. Patienten mit einer Erkrankung) korrekt zu identifizieren, selbst wenn dies einige falsch positive Ergebnisse bedeutet (z. B. gesunde Patienten, bei denen die Erkrankung als vorhanden gekennzeichnet ist). Ein positiver Fall kann schwerwiegende Folgen haben.
Betrugserkennung: Bei der Betrugserkennung ist Präzision in der Regel wichtiger, da Fehlalarme (Falschmeldungen) den Benutzern Unannehmlichkeiten bereiten können. Es ist besser, über eine hohe Präzision zu verfügen, um Fehlalarme zu minimieren und gleichzeitig sicherzustellen, dass tatsächliche Betrugsfälle erfasst werden (was sich auf den Rückruf auswirkt).
Datenabruf: In Suchmaschinen oder Empfehlungssystemen wird der Rückruf oft priorisiert, um das Verpassen relevanter Ergebnisse oder Empfehlungen zu vermeiden, selbst wenn dies bedeutet, dass einige irrelevante Elemente (geringere Präzision) einbezogen werden müssen.
F1-Wert
Der F1-Score ist eine Performance-Metrik, die Präzision und Rückruf in einem einzigen Wert kombiniert und eine ausgewogene Bewertung der Fähigkeit eines Modells für maschinelles Lernen zur korrekten Klassifizierung von Instanzen bietet. Dies ist besonders in Szenarien nützlich, in denen Präzision und Rückruf gleichermaßen wichtig sind und ein Gleichgewicht zwischen ihnen gefunden werden muss.
Der F1-Score wird anhand des harmonischen Mittelwerts der Präzision wie folgt berechnet:
F1-Wert = 2 × Präzision x Rückruf/Präzision +Rückruf
Der F1-Score reicht von 0 bis 1, wobei 1 der bestmögliche Score ist. Sie erreicht ihren maximalen Wert, wenn sowohl Präzision als auch Rückruf auf höchstem Niveau sind, was auf ein ausgewogenes Modell hinweist, das sowohl falsche Positiv- als auch falsche Negative minimiert.
F1-Ergebnisvorteile
Zu den Vorteilen der Verwendung des F1-Scores gehören:
Ausgewogene Bewertung: Der F1-Score berücksichtigt sowohl Präzision als auch Erinnerung und liefert eine ausgewogene Bewertung der Performance eines Modells. Dies ist besonders in Szenarien von Vorteil, in denen sowohl falsch-positive als auch falsch-negative Ergebnisse gleichermaßen wichtig sind, z. B. bei der medizinischen Diagnose oder bei der Erkennung von Anomalien.
Einzelne Metrik: Anstatt Präzision und Abruf separat zu bewerten, kombiniert der F1-Score sie in einem einzigen Wert, wodurch es einfacher wird, verschiedene Modelle oder Optimierungsparameter zu vergleichen.
Empfindlich für Ungleichgewichte: Der F1-Score reagiert empfindlich auf Klassenungleichgewichte, da er sowohl falsch-positive als auch falsch-negative Ergebnisse berücksichtigt. Sie bestraft Modelle, die eine Klasse der anderen stark vorziehen.
Interpretation des F1-Scores
Die Interpretation der Ergebnisse des F1-Scores umfasst das Verständnis des Kompromisses zwischen Präzision und Rückruf.
Hier sind einige Szenarien und Interpretationen:
Hoher F1-Score: Ein hoher F1-Score zeigt an, dass das Modell ein gutes Gleichgewicht zwischen Präzision und Rückruf erreicht hat. Das bedeutet, dass das Modell sowohl bei der Minimierung falscher Positivmeldungen (hohe Präzision) als auch bei der Erfassung der meisten positiven Instanzen (hoher Abruf) effektiv ist.
Niedriger F1-Score: Ein niedriger F1-Score deutet auf ein Ungleichgewicht zwischen Präzision und Erinnerung hin. Dies kann passieren, wenn das Modell auf eine Klasse ausgerichtet ist, was entweder zu vielen falsch-positiven (niedrige Präzision) oder zu vielen falsch-negativen (niedriger Erinnerung) führt.
Vergleich von Modellen: Beim Vergleich verschiedener Modelle oder beim Abstimmen von Hyperparametern ist die Wahl des Modells mit dem höchsten F1-Score vorteilhaft, insbesondere in Szenarien, in denen Präzision und Rückruf gleichermaßen wichtig sind.
Beispiele
Betrachten wir ein Spam-E-Mail-Klassifizierungsmodell.
Angenommen, Modell A hat eine Genauigkeit von 0,85 und einen Rückruf von 0,80, was zu einem F1-Score von 0,85 führt
Andererseits hat Modell B eine Genauigkeit von 0,75 und einen Rückruf von 0,90, was zu einem F1-Score von 0,818 führt.
Obwohl Modell B einen höheren Rückruf hat, führt seine geringere Präzision zu einem etwas niedrigeren F1-Score im Vergleich zu Modell A. Dies deutet darauf hin, dass Modell A in Bezug auf Präzision und Rückruf, abhängig von den spezifischen Anforderungen der Anwendung, ausgeglichener sein kann.
ROC-Kurve und AUC
Wie bereits beschrieben, werden die ROC-Kurve und die AUC bei binären Klassifizierungsproblemen verwendet, um die vorausschauende Performance von Modellen für maschinelles Lernen zu bewerten, insbesondere in Szenarien, in denen die Klassenverteilung unausgewogen ist.
ROC-Kurve
Die ROC-Kurve ist eine grafische Darstellung des Kompromisses zwischen der echten positiven Rate (TPR), auch bekannt als Rückruf oder Sensitivität, und der falsch-positiven Rate (FPR) eines Klassifizierungsmodells über verschiedene Schwellenwerte hinweg. TPR misst den Anteil tatsächlicher positiver Instanzen, die vom Modell korrekt als positiv identifiziert wurden, während FPR den Anteil tatsächlicher negativer Instanzen misst, die falsch als positiv klassifiziert wurden.
Die ROC-Kurve wird erstellt, indem der TPR (y-Achse) mit dem FPR (x-Achse) bei verschiedenen Schwellenwerteinstellungen aufgetragen wird. Jeder Punkt auf der Kurve stellt einen anderen Schwellenwert dar, und die Kurve zeigt, wie sich die Performance des Modells ändert, wenn sich der Schwellenwert für die Klassifizierung ändert.
Trade-off-Visualisierung
Die ROC-Kurve visualisiert den Kompromiss zwischen Sensitivität (Rückruf) und Spezifität (1 – FPR), da der Entscheidungsschwellenwert des Modells variiert. Ein Modell mit hoher Empfindlichkeit (TPR) hat in der Regel einen höheren FPR und umgekehrt. Die Kurve zeigt die Performance des Modells über alle möglichen Schwellenwerte hinweg, sodass Analysten den Schwellenwert auswählen können, der ihren spezifischen Anforderungen am besten entspricht, basierend auf dem Kompromiss, den sie zwischen echten und falschen positiven Ergebnissen akzeptieren möchten.
AUC
Die AUC ist ein skalarer Wert, der die Gesamtleistung eines Klassifizierungsmodells basierend auf seiner ROC-Kurve quantifiziert. Konkret misst er den Bereich unter der ROC-Kurve, der die Fähigkeit des Modells darstellt, zwischen positiven und negativen Klassen über alle möglichen Schwellenwerteinstellungen hinweg zu unterscheiden.
AUC hilft bei der Bewertung der Gesamtleistung eines Modells für maschinelles Lernen über:
Performance-Vergleich: Ein höherer AUC-Wert weist auf eine bessere Unterscheidungsfähigkeit des Modells hin, was bedeutet, dass es effektiv zwischen positiven und negativen Instanzen über eine Reihe von Schwellenwerten hinweg unterscheiden kann. Sie ermöglicht einen einfachen Vergleich zwischen verschiedenen Modellen, wobei höhere AUC-Werte eine bessere Gesamtleistung anzeigen.
Robustheit zum Klassenungleichgewicht: AUC wird weniger durch Klassenungleichgewichte beeinflusst als Metriken wie Genauigkeit, Präzision und Rückruf. Es berücksichtigt die Performance des Modells über alle möglichen Schwellenwerte hinweg und eignet sich daher für unausgewogene Datensätze, bei denen die Klassenverteilung verzerrt ist.
Schwellenwertunabhängige Bewertung: AUC bewertet die Performance des Modells, ohne einen bestimmten Schwellenwert für die Klassifizierung festzulegen, und bietet eine umfassendere Bewertung der diskriminierenden Fähigkeit des Modells unabhängig vom gewählten Betriebspunkt.
Fazit
Leistungsmetriken für maschinelles Lernen helfen bei der Bewertung und dem Vergleich verschiedener Modelle für maschinelles Lernen, indem sie unter anderem quantitative Messungen der Genauigkeit, Präzision, des Rückrufs, des F1-Werts und der ROC-Kurve eines Modells bereitstellen. Das Verständnis dieser Metriken ist für Datenwissenschaftler und Praktiker für maschinelles Lernen äußerst wichtig, wenn sie die verschiedenen Aufgaben und Herausforderungen der Modellentwicklung, -optimierung und -bereitstellung bewältigen.
Kurz gesagt: Leistungsmetriken für maschinelles Lernen liefern tiefere Einblicke in die Stärken und Schwächen eines Modells, was fundierte Entscheidungen über die Modellauswahl, die Hyperparameteroptimierung und die Überwachung der Modellleistung im Laufe der Zeit ermöglicht. Unabhängig davon, ob es sich um Klassifizierungsaufgaben handelt, bei denen Präzision und Rückruf von höchster Bedeutung sind, um Regressionsprobleme, bei denen MAE und RMSE wichtig sind, oder um binäre Klassifizierungsszenarien, die von ROC-Kurven und AUC profitieren, verbessert die angemessene Verwendung von Performance-Metriken die Robustheit und Zuverlässigkeit von Lösungen für maschinelles Lernen, was letztendlich zu besseren Ergebnissen und positiven geschäftlichen Auswirkungen führt.
Dennoch bedeutet die Nutzung Ihrer Modelle für maschinelles Lernen, dass Sie Ihren Daten-Storage mit einer KI-fähige Infrastruktur zukunftssicher machen müssen. Erfahren Sie, wie Pure Storage Ihnen dabei hilft, Modellschulungen und -inferenzen zu beschleunigen, die betriebliche Effizienz zu maximieren und Kosteneinsparungen zu erzielen.
