Stage de fin d’études — LLM-as-a-Judge : évaluation automatique, fiabilité et qualité des modèles d’IA (H/F)

Job description

Votre équipe Une communauté de +500 consultants IA & Data, renforcée depuis septembre 2026 par l’intégration d’AI Builders. Nous accompagnons les organisations de bout en bout : Identifier les cas d’usage IA à plus forte valeur métier Concevoir des plateformes Data & IA performantes et industrialisées Définir des modèles de gouvernance responsables et scalables Du concret, pas de l’IA de démonstration : nos équipes développent des solutions déployées en production, parmi lesquelles : Une plateforme Data Groupe sur Microsoft Fabric Un système multi-agents traitant 80 000 demandes d’achat par an Une plateforme de services IA basée sur l’écosystème Mistral Un modèle de computer vision atteignant 91 % de précision terrain Un écosystème technologique de premier plan : nous travaillons avec les principaux acteurs du marché : Microsoft, Google, AWS, Mistral, Anthropic, Databricks et Dataiku, tout en conservant une approche indépendante, guidée par la valeur créée pour nos clients. Votre sujet de stage En parallèle de vos missions, vous conduirez un sujet de stage fil rouge. Ce sujet vous permettra d’approfondir une expertise spécifique, de contribuer à la communauté IA de Wavestone et de valoriser vos travaux lors d’une restitution en fin de stage. Votre sujet fil rouge consistera à concevoir un dispositif d’évaluation automatique fondé sur l’approche LLM-as-a-Judge : protocoles d’évaluation, jeux de test, mesure de la corrélation avec le jugement humain et analyse des biais du modèle juge. Vous contribuerez à produire un cadre d’évaluation applicable à l’ensemble de nos projets d’IA générative et agentiques. Vos responsabilités Sous la tutelle d’un·e consultant·e et le pilotage d’un·e manager, vous interviendrez progressivement sur les missions suivantes : Concevoir des protocoles d’évaluation automatique de solutions GenAI et agentiques Construire des jeux de test et des grilles de notation adaptés aux cas d’usage Mesurer la fiabilité des évaluations et analyser les biais des modèles juges Intégrer l’évaluation dans les chaînes de déploiement et les dispositifs de monitoring Formaliser un cadre d’évaluation réutilisable et le diffuser au sein de la communauté Quel que soit votre sujet, vous réaliserez une veille technologique continue sur les solutions Data & IA et contribuerez à la vie et au rayonnement de la communauté IA Wavestone. Exemples de missions Transverse : mise en place d’un dispositif d’évaluation continue sur une plateforme agentique multi-usages Industrie : évaluation de la qualité et de la fiabilité des réponses d’un agent documentaire technique Énergie : mesure de la pertinence d’un assistant conversationnel sur un corpus réglementaire Votre accompagnement Un·e tuteur·rice, un·e chef·fe de projet et un·e Career Development Manager pour vous guider tout au long de votre parcours L’AI School, parcours d’acculturation commun à tous les arrivants, stagiaires inclus L’accès à DataCamp, au programme d’upskilling AI&Me et à une licence Copilot M365 Des feedbacks réguliers, un parcours d’intégration structuré et une communauté active de nouveaux arrivants Profil recherché Étudiant·e en dernière année de grande école d’ingénieurs ou de commerce (Diplôme d’Ingénieur, PGE), avec une spécialisation en data science, intelligence artificielle, transformation digitale ou stratégie Maîtrise de Python et pratique des frameworks LLM : appels d’API, prompt engineering, architectures RAG Rigueur méthodologique et goût pour la mesure et l’expérimentation Motivation pour découvrir le conseil et les environnements client grands comptes Langues Français : un niveau courant est requis pour ce poste Anglais : un niveau minimum C1 est requis pour ce poste Ce qui fera la différence Curiosité intellectuelle et envie d’apprendre Capacité d’analyse et de structuration Autonomie et sens des responsabilités Aisance en communication écrite et orale Esprit d’équipe et goût du travail collaboratif Pourquoi nous rejoindre Un impact réel, à l’échelle : des solutions IA industrialisées et utilisées par des milliers d’utilisateurs, pas des POC qui s’arrêtent au MVP Un spectre complet : stratégie, plateformes, engineering et gouvernance sous un même toit Une trajectoire qui vous appartient : pas d’up-or-out, promotions sans quota, grilles salariales transparentes, progression à votre rythme un environnement de travail flexible et collaboratif Tous nos stages de fin d’études s’inscrivent dans une logique de pré-embauche. Machine Learning · GenAI · LLM · RAG · MLOps · Python · AI Engineering · Junior Consultant Parce que votre réussite est notre priorité, nous adaptons nos processus de recrutement et l’environnement de travail à vos besoins spécifiques ou situations de santé (aménagements de poste, tiers-temps, outils adaptés…). Cette démarche, confidentielle et fondée sur l’équité, garantit à chaque candidat·e les meilleures conditions pour exprimer son plein potentiel dès le processus de recrutement, lors de sa prise de poste et tout au long de sa carrière. Rejoignez un cabinet de conseil international qui accompagne les grandes transformations stratégiques. Nous sommes Wavestone : des expert·es passionné·es et orienté·es solutions, qui placent l’humain au cœur de la performance et de la croissance. Ambitieux·ses et en pleine expansion, nous développons sans cesse notre portefeuille de clients et de projets, avec une portée internationale et une réelle volonté de générer un impact positif. Êtes-vous un·e vrai·e team player, porté·e par des valeurs fortes ? Êtes-vous curieux·se et déterminé·e, avec l’envie d’apprendre chaque jour ? Êtes-vous du genre à relever les défis sans hésiter ? Alors vous êtes au bon endroit. Rejoignez Wavestone et exprimez votre potentiel dans un environnement stimulant et collaboratif, où l’on transforme les défis d’aujourd’hui en opportunités de demain.