Das Trainieren guter Modelle ist die Grundlage für maschinelles Lernen und KI, und das Modell-Training erfordert oft große Datensätze, um Modelle zu erstellen, die gut funktionieren. Aber manchmal haben wir nicht viele Daten. Tatsächlich haben wir für einige Probleme vielleicht nur wenige Trainingsbeispiele.

Hier kommt das Few-Shot Learning ins Spiel.

Mit Few-Shot Learning können Sie auch mit wenigen Daten leistungsstarke Modelle erstellen.

In diesem Artikel erkläre ich, was Few-Shot Learning ist, welche die wichtigsten Few-Shot-Learning-Ansätze sind, wie Few-Shot Learning angewendet wird und vieles mehr.

Was ist Few-Shot Learning?

Few-Shot Learning ist eine Familie von Techniken innerhalb der Künstlichen Intelligenz (KI) und des maschinellen Lernens, bei der wir ein Modell so trainieren, dass es mit nur wenigen Beispielen genaue Vorhersagen treffen kann.

Traditionell benötigen wir beim Training von maschinellen Lernsystemen große Datensätze, um eine hohe Modellleistung zu erzielen. Dies gilt insbesondere für tiefe neuronale Netze (d. h. Deep-Learning-Systeme), die in der Vorschulungsphase oft sehr große Datensätze benötigen.

Es gibt jedoch Situationen, in denen wir ein Modell benötigen, um eine neue Aufgabe zu erlernen, aber nur über einen kleinen Trainingsdatensatz verfügen.

Hier kommen die „Few-Shot“-Techniken ins Spiel. Unter den richtigen Umständen (häufig unter Verwendung vorab trainierter Modelle) können wir „Few-Shot“-Techniken einsetzen, um den Bedarf an sehr großen Datensätzen zu umgehen und Modelle zu trainieren, die auch bei knappen Datenressourcen bei neuen Aufgaben gute Leistungen erbringen.

Diese Fähigkeit, uns beim Erstellen von Modellen mit minimalen Trainingsbeispielen zu helfen, macht Few-Shot-Techniken äußerst wertvoll in Situationen, in denen Daten von Natur aus knapp, schwer zu beschaffen oder teuer sind. Beispielsweise sind Few-Shot-Techniken wertvolle Werkzeuge bei datenarmen Aufgaben wie der medizinischen Bildgebung für seltene Krankheiten, NLP (Natural Language Processing) für seltene Sprachen und einigen Arten von Objekterkennungsaufgaben. Ich werde die Anwendungen von Few-Shot Learning später in diesem Artikel besprechen.

Später in diesem Artikel werden wir auch die gängigsten Techniken zur Implementierung und/oder Verbesserung des Few-Shot Learning besprechen, wie z. B. Meta-Learning und einige Techniken zur Data Augmentation.

Unterschiede von One-Shot Learning und Few-Shot Learning

Few-Shot Learning und One-Shot Learning sind insofern ähnlich und verwandt, als dass beide Familien von Techniken dazu verwendet werden, Modelle zu trainieren, die mit begrenzten Trainingsdaten gut verallgemeinern. Allerdings unterscheiden sich Few-Shot- und One-Shot-Techniken in einem wichtigen Aspekt: der Anzahl der „Schüsse“, die wir verwenden. Denken Sie daran, dass beim schussbasierten Lernen die Anzahl der „Schüsse“ der Anzahl der Trainingsbeispiele pro Klasse entspricht.

Beim One-Shot-Learning trainieren wir das Modell also mit nur einem Trainingsbeispiel pro Zielklasse. Beim Few-Shot Learning trainieren wir das Modell dagegen mit „einigen“ Trainingsbeispielen pro Klasse. In der Praxis verwenden wir beim Few-Shot Learning in der Regel 2 bis 10 Trainingsbeispiele, aber das hängt in der Regel von dem Problem ab, das wir lösen wollen.

Während sowohl Few-Shot- als auch One-Shot-Techniken versuchen, Modelle zu erstellen, die unter Bedingungen knapper Daten gut verallgemeinern, ist One-Shot tendenziell ein anspruchsvolleres Szenario, da wir bei One-Shot nur einen „Versuch“ haben, im Gegensatz zu den 2 bis 10, die wir beim Few-Shot-Training haben könnten.

Wichtigste Ansätze und Techniken von Few-Shot Learning

Obwohl es viele Techniken gibt, die wir für das Few-Shot Learning verwenden können, lassen sich die spezifischen Techniken in breiter gefasste Ansätze (d. h. in Technikfamilien) einteilen:

• Transfer Learning
• Meta-Learning
• Data Augmentation

Sehen wir uns diese verschiedenen Ansätze an.

Transfer Learning

Transfer Learning ist ein sehr nützlicher Ansatz für das Few-Shot Learning.

Beim Transfer Learning wird ein Modell vorab auf einem großen und in der Regel allgemeinen Datensatz trainiert, sodass das vorab trainierte Modell bei einer Reihe allgemeiner Aufgaben gut abschneidet. Dieser Vorab-Trainingsschritt ermöglicht es dem vorab trainierten Modell in der Regel, Merkmale und Attribute zu erlernen, die im Merkmalsraum für die trainierten Klassen üblich sind.

Beim Transfer Learning wird dann ein Teil des Wissens auf ein neues, sekundäres Modell übertragen, sodass das sekundäre Modell einen „Lernvorsprung“ erhält. Dadurch kann das sekundäre Modell viel einfacher aus neuen Beispielen lernen, selbst mit begrenzten Daten (da das sekundäre Modell im Wesentlichen Wissen aus dem ersten vortrainierten Modell entlehnt).

Meta-Learning

Meta-Learning ist ein weiterer leistungsstarker Ansatz, den wir für Few-Shot Learning verwenden können.

Meta-Learning wird oft als „Lernen, wie man lernt“ bezeichnet, und Techniken dieser Art ermöglichen es Modellen, sich schnell an neue Aufgaben mit wenigen Trainingsdaten anzupassen. Im Wesentlichen gibt Meta-Learning KI-Systemen Werkzeuge an die Hand, die ihnen helfen, sich an neue Aufgaben anzupassen.

Wichtig ist, dass Meta-Learning-Techniken im Gegensatz zu herkömmlichen Modell-Trainingstechniken, die sich auf eine einzige Aufgabe konzentrieren, das Lernen an mehreren Aufgaben beinhalten. Genauer gesagt hilft Meta-Learning einem Modell, eine Lernstrategie über mehrere Aufgaben hinweg zu erlernen. Dies wiederum ermöglicht es dem Modell, nach dem Meta-Learning-Prozess besser auf neue und bisher unbekannte Aufgaben zu verallgemeinern.

Data Augmentation

Data Augmentation ist ein weiterer Ansatz, den wir für Few-Shot Learning nutzen können.

Bei der Data Augmentation erweitern wir den begrenzten Trainingsdatensatz, indem wir Datenbeispiele transformieren, um sie auf irgendeine Weise zu verändern (entweder durch Duplizieren vorhandener Beispiele und anschließendes Anwenden geringfügiger Transformationen oder durch direktes Transformieren der vorhandenen Beispiele).

So können Sie beispielsweise bei einer Bildklassifizierungsaufgabe die Transformationen während der Data Augmentation spiegeln, zuschneiden, die Größe ändern, zoomen, drehen oder die Farbe ändern.

Letztendlich ist Data Augmentation, wie viele andere Few-Shot-Techniken auch, besonders nützlich in Situationen, in denen es teuer oder schwierig ist, große Datenmengen zu sammeln.

Vorteile von Few-Shot Learning

Nachdem wir nun über einige Ansätze für „shot-based“ learning gesprochen haben, wollen wir kurz auf einige der Vorteile eingehen.

Geringerer Datenbedarf

Techniken des Few-Shot Learning verringern die Menge an gekennzeichneten Trainingsdaten, die wir für neue oder spezifische Aufgaben benötigen, erheblich.

Wenngleich es erwähnenswert ist, dass Few-Shot Learning oft vorab trainierte Modelle erfordert (die anhand großer Datensätze trainiert wurden), können wir, sobald wir versuchen, ein Modell für eine neue Aufgabe zu trainieren, Few-Shot-Techniken mit knappen Datenressourcen verwenden.

Wie bereits mehrfach erwähnt, ist das Shot-based Learning in Situationen, in denen Daten teuer oder schwer zu beschaffen sind, sehr nützlich.

Schnelleres Training

Obwohl die Datenknappheit beim Shot-based Learning oft als Herausforderung angesehen wird, hat sie auch einen wichtigen Vorteil.

Da wir das Modell beim Few-Shot Learning mit weniger Beispielen trainieren, trainieren Few-Shot-Techniken oft schneller.

Allerdings hängt die Auswirkung von Few-Shot-Techniken auf die Trainingsgeschwindigkeit von der genauen Anwendung und der verwendeten Few-Shot-Technik ab, da einige Few-Shot-Techniken rechenintensiver sind als andere.

Schnelle Anpassung an neue Aufgaben

Da sich Modelle mit Few-Shot-Learning-Techniken schnell an neue und bisher unbekannte Aufgaben anpassen können, ist Few-Shot Learning in Situationen nützlich, in denen wahrscheinlich neue Aufgaben auftauchen werden.

Meta-Learning und Transfer Learning sind für diese Art der schnellen Anpassung besonders nützlich.

Reduzierte Trainings- und Speicherkosten

Da das Few-Shot Learning mit nur wenigen Trainingsbeispielen auskommt, senken Few-Shot-Techniken auf natürliche Weise die Kosten, die mit dem Sammeln, Beschriften und Speichern von Datenbeispielen verbunden sind, und senken in der Regel auch die Kosten für Trainingsmodelle.

Da Few-Shot-Techniken jedoch häufig auf größeren vorab trainierten Modellen basieren, gelten die meisten Vorteile der reduzierten Trainings- und Speicherkosten für die Phase, in der wir ein Modell auf einem neuen aufgabenspezifischen Datensatz trainieren.

Verbesserte Modellverallgemeinerung

Mit Few-Shot-Techniken lassen sich Modelle trainieren, die sich auf neue Aufgaben übertragen lassen. Dadurch können Modelle, die mit Few-Shot-Techniken trainiert wurden, auch bei neuen, bisher unbekannten Aufgaben gute Leistungen erbringen.

Anwendungen und Beispiele

Es gibt eine Vielzahl von Anwendungen für Few-Shot-Learning-Techniken, aber lassen Sie uns kurz auf drei Hauptbereiche eingehen, in denen wir diesen Lernansatz anwenden können: medizinische Bildgebung, Verarbeitung natürlicher Sprache und Objekterkennung.

Medizinische Bilderzeugung

Experten für Machine Learning und KI setzen Few-Shot-Learning-Techniken häufig in der medizinischen Bilderzeugung ein, wo wir KI und maschinelles Lernen zur Analyse medizinischer Bilder verwenden, um Krankheiten und andere Anomalien zu diagnostizieren.

Wir haben häufig Schwierigkeiten, genügend Trainingsdaten für medizinische Bildgebungsaufgaben zu erhalten, was auf den Mangel an spezialisierter Bildgebungsausrüstung, die Seltenheit einiger Krankheiten und ethische Probleme im Zusammenhang mit Patientendaten zurückzuführen ist.

Da für viele Aufgaben nur wenige medizinische Bilder zur Verfügung stehen, können wir mit Few-Shot-Learning-Techniken Krankheiten und Anomalien mit nur wenigen gekennzeichneten Bildern erkennen.

Durch die Nutzung von Few-Shot-Techniken (und auch anderer Techniken wie Vortraining usw.) können wir wiederum medizinische Bildgebungsmodelle erstellen, die sich gut auf neue Fälle übertragen lassen.

Verarbeitung natürlicher Sprache

Wir können Few-Shot-Techniken auch für Aufgaben der Verarbeitung natürlicher Sprache wie Textklassifizierung, Stimmungsanalyse und Übersetzung verwenden.

Wie bei den anderen Anwendungen sind Few-Shot-Techniken besonders nützlich in Szenarien, in denen gekennzeichnete Daten knapp sind. In der NLP sind Few-Shot-Techniken besonders nützlich in Szenarien wie seltene Sprachen, seltene Dialekte, ressourcenarme Sprachen oder linguistische Aufgaben, bei denen die Daten begrenzt sind.

Techniken wie Feinabstimmung (z. B. Transfer Learning) und Meta-Learning sind besonders nützlich für diese Arten von NLP-Aufgaben mit wenigen Beispielen.

Wie bei anderen Anwendungen ermöglicht das Few-Shot Learning Modellen, sich mit nur wenigen Beispielen an neue Sprachen oder spezielle Dialekte anzupassen. Dies trägt dazu bei, die Modellverallgemeinerung zu verbessern, selbst wenn wir nur über einen begrenzten Korpus an Trainingsbeispielen verfügen.

Few-Shot Learning in der Objekterkennung

Wie in den anderen Anwendungsbereichen funktionieren Few-Shot-Techniken am besten, wenn wir nur über begrenzte Trainingsbeispiele verfügen, und im Kontext der Computer Vision geschieht dies in Situationen, in denen wir ein System benötigen, das neue oder selten gesehene Objekte erkennt.

Solche Situationen gibt es in der Computer Vision für spezifische Aufgaben wie autonome Fahrzeug-Sichtsysteme und Sicherheitsüberwachungssysteme. Bei diesen Aufgaben muss das Modell möglicherweise in der Lage sein, neue oder ungewöhnliche Objekte in Echtzeit zu erkennen.

Es ist erwähnenswert, dass metrikbasierte Few-Shot-Learning-Ansätze wie Prototypical Networks und Siamese Networks besonders gut für Objekterkennungsaufgaben geeignet sind.

Durch das Lernen mit Few-Shot-Techniken können diese Computer-Vision-Systeme besser verallgemeinern und neue Objektklassen identifizieren, die in den ursprünglichen Trainingsdaten nicht vorhanden waren. Dies wiederum trägt dazu bei, dass diese Systeme in dynamischen Umgebungen anpassungsfähiger werden.

Zusammenfassung

In diesem Artikel haben wir erklärt, dass Few-Shot Learning eine Familie von Techniken ist, die es uns ermöglichen, Modelle zu erstellen, die auch bei knappen Datenmengen bei neuen Aufgaben eine gute Leistung erbringen.

Wir haben die wichtigsten Ansätze des Few-Shot Learning erläutert, nämlich Transfer Learning, Meta-Learning und Data Augmentation. Und wir haben kurz einige der Anwendungen und Vorteile von Few-Shot Learning-Techniken erklärt.

Few-Shot Learning ist ein wichtiger Ansatz, um gute Modelle zu trainieren, und wenn Sie KI beherrschen wollen, müssen Sie wissen, was es ist und wie es funktioniert. Hoffentlich hat Ihnen dieser Artikel den Einstieg erleichtert.