Masterarbeit: Evaluation von Vision-Language Models für soziale Situationen

Das Fraunhofer IGCV ist das erste produktionstechnische Fraunhofer-Institut in Bayern. Wir gestalten den Weg in die Zukunft des effizienten Engineerings, der vernetzten Produktion und der intelligenten Multimateriallösungen zur Sicherstellung der nachhaltigen Wettbewerbsfähigkeit Deutschlands und Europas. Unsere Hauptkunden kommen aus dem Maschinen- und Anlagenbau sowie der Luft- und Raumfahrt- und der Fahrzeugindustrie. Für den Fachbereich Intelligente Prozessführung und Robotik suchen wir zum nächstmöglichen Zeitpunkt einen Studierenden für eine Masterarbeit zum Thema: "Evaluation von Vision-Language Models zur Erfassung sozial situativer Kontexte in industriellen Umgebungen – Benchmark-Entwicklung & Modellvergleich" der uns auf unserem weiteren erfolgreichen Weg begleiten möchte. Hier sorgen Sie für Veränderung ⦁ Literaturrecherche zu Vision-Language Models (VLMs), bestehenden VLM-Benchmarks sowie Methoden der Human-Human-Interaction (HHI) und Human-Object-Interaction (HOI) Erkennung ⦁ Entwicklung einer Annotationsstrategie und Taxonomie für sozial situative Szenen (Interaktionsmuster, Ansprechbarkeit, Tätigkeitskontext, soziale Normen) inkl. Auswahl und Einrichtung eines Annotationstools (z. B. CVAT) ⦁ Annotation eines industriellen Bilddatensatzes (4 Branchen) mit mehreren Annotierenden und Bestimmung des Inter-Annotator-Agreements ⦁ Systematischer Vergleich lokaler VLMs (z. B. LLaVA, InternVL2, Qwen2-VL) auf einem NVIDIA Jetson Orin AGX inkl. Prompt-Engineering und Analyse der Prompt-Sensitivität ⦁ Auswertung und wissenschaftliche Dokumentation der Ergebnisse Hiermit bringen Sie sich ein ⦁ Studium im Bereich der Ingenieurswissenschaften oder Informatik ⦁ Programmierkenntnisse in Python ⦁ Erste Erfahrungen mit multimodalen KI-Modellen (Vision-Language Models, LLMs) oder Bildverarbeitung ⦁ Interesse an Mensch-Roboter-Interaktion und sozialer Robotik ⦁ Zuverlässige und selbstständige Arbeitsweise Was wir für Sie bereithalten Wir bieten flexible Arbeitszeiten, eine hervorragende Ausstattung und die Möglichkeit, die sozial situative Wahrnehmung für soziale Roboter bei uns aktiv mitzugestalten. Als Teil eines sympathischen, motivierten Teams sind Sie an der Realisierung spannender Forschungsprojekte beteiligt und übernehmen verantwortungsvolle Aufgaben mit hohem Gestaltungsspielraum. Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern. Die wöchentliche Arbeitszeit wird individuell vereinbart. Die Stelle kann auch in Teilzeit besetzt werden. Die Vergütung richtet sich nach der Gesamtbetriebsvereinbarung zur Beschäftigung der Hilfskräfte. Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft. Bereit für Veränderung? Dann bewerben Sie sich jetzt, und machen Sie einen Unterschied! Nach Eingang Ihrer Online-Bewerbung erhalten Sie eine automatische Empfangsbestätigung. Dann melden wir uns schnellstmöglich und sagen Ihnen, wie es weitergeht. Fragen zu dieser Position beantwortet gerne: Christian Pest | 0821 90678-195 | Fraunhofer IGCV Am Technologiezentrum 10 86159 Augsburg Fraunhofer-Institut für Gießerei-, Composite- und Verarbeitungstechnik IGCV Kennziffer: 84683 Bewerbungsfrist: