In unserem vorherigen Artikel haben wir den Einsatz von Techniken wie Retrieval-Augmented Generation (RAG), Feintuning und Prompt-Engineering anhand eines HR-spezifischen Anwendungsfalls erläutert. Ziel war es, einen HR-spezialisierten Assistenten zu entwickeln, der HR-Teams bei Fragen zur Vergütung unterstützt, bewertet durch die zentrale Frage: „Was ist ein gutes Gehalt für einen Kandidaten basierend auf diesem Lebenslauf?“ Der Artikel enthielt Screenshots, die die Antworten des standardmäßigen ChatGPT-4o, der Prompt-Engineering nutzte, mit einem benutzerdefinierten GPT verglichen, der die RAG-Technik zur Verbesserung des kontextuellen Verständnisses einsetzte.
Heute möchten wir zeigen, wie Fine-Tuning die Antworten eines generativen KI-Assistenten weiter verfeinern kann. Konkret haben wir das Feintuning genutzt, um den Stil, den Ton, das Format und die Qualität der Antworten zu verbessern sowie um die Zuverlässigkeit bei der Erzielung der gewünschten Ergebnisse zu gewährleisten. Für einen HR-spezifischen Assistenten ist es entscheidend, die Nuancen des HR-Bereichs zu erfassen und seine Antworten auf der Vergütungsstrategie des Unternehmens zu basieren.
Um die Vorteile des Fine-Tunings schnell zu veranschaulichen, haben wir das Modell GPT-3.5-Turbo-0125 verwendet und über die OpenAI-Plattform feinabgestimmt. Das Training wurde vereinfacht, indem nur ein Datensatz von 100 qualitativ hochwertigen Beispielen verwendet wurde, was im Allgemeinen ein guter Ausgangspunkt ist.
Die Bewertung hat durch Zero-Shot-Prompting erfolgt, was bedeutet, dass das verwendete Prompt keine Beispiele oder Demonstrationen enthalten hat, wie die Antwort aussehen soll, wobei der einzige Kontext die Zusammenfassung des Lebenslaufs des potenziellen neuen Mitarbeiters gewesen ist.
Das nicht feinabgestimmte Modell hat eine breite Gehaltsspanne von 130.000 bis 160.000 US-Dollar mit allgemeinen Begründungen basierend auf den Qualifikationen des Kandidaten, wie technischen Fähigkeiten, Führungskompetenzen und Zertifizierungen, angeboten. Obwohl es vorgeschlagen hat, dass der Kandidat aufgrund dieser Faktoren ein höheres Gehalt verlangen könnte, ist die Antwort allgemein geblieben und es haben spezifische Einblicke in den Vergütungsprozess des Unternehmens gefehlt.
Im Gegensatz dazu hat das feinabgestimmte Modell ein spezifisches Gehalt von 150.000 US-Dollar vorgeschlagen, unterstützt durch detaillierte Begründungen, die auf HR-Nuancen und einem gründlichen Verständnis der Vergütungsstrategie des Unternehmens basieren. Dieses Modell hat die zehnjährige Erfahrung des Kandidaten, seine Expertise in Python und Data Science, seine Projektmanagementfähigkeiten, seine Führungskompetenzen und relevante Zertifizierungen hervorgehoben und diese Eigenschaften explizit in Bezug auf die Bedürfnisse und den Erfolg des Unternehmens dargestellt.
Das feinabgestimmte Modell hat die Vergütungsstrategie des Unternehmens besser verstanden, indem es betont hat, wie die Fähigkeiten und Erfolge des Kandidaten den Unternehmenserfolg vorantreiben könnten. Es hat ihre Beiträge zur operativen Effizienz und Datenkonsistenz hervorgehoben und ihren potenziellen Einfluss auf das Unternehmen aufgezeigt. Der maßgeschneiderte Ansatz des Modells hat ein tieferes Verständnis der spezifischen Metriken und strategischen Ziele widergespiegelt, die die Vergütungsentscheidungen des Unternehmens leiten. Nachfolgend sind zwei Screenshots, die die Antworten beider Modelle vergleichen.
Diese praktische Fallstudie zeigt, dass Feintuning eine äußerst effektive Methode war, um die Fähigkeit unseres HR-Assistenten zu verbessern, gewünschte Ergebnisse zu generieren, die sich auf geschäftsrelevante Datenpunkte konzentrieren. Durch das Feintuning des Modells konnten wir den Assistenten lehren, präzisere, nuanciertere und kontextuell fundierte Antworten zu geben, die ein tieferes Verständnis der spezifischen Metriken und strategischen Ziele widerspiegeln, die die Vergütungsentscheidungen des Unternehmens leiten.
Das Feintuning verbesserte nicht nur die Qualität der Antworten, sondern stellte auch sicher, dass der Assistent Einblicke liefern konnte, die direkt mit der Vergütungsstrategie unseres Unternehmens übereinstimmen, und somit HR-Teams bei der fundierten und strategischen Entscheidungsfindung unterstützen.
