Construire des LLM de taille moyenne véritablement ouverts, centrés sur le français : pourquoi et comment

Session 2 : Diversité des interdépendances entre science ouverte et intelligence artificielle 

• Construire des LLM de taille moyenne véritablement ouverts, centrés sur le français : pourquoi et comment - Julie Hunter (Linagora)

Résumé : Il existe aujourd'hui une large gamme de LLM pouvant être utilisés pour diverses tâches telles que la traduction, la synthèse ou l'interrogation de bases de données. Les LLM traditionnels posent toutefois des défis importants. Bien qu'il y ait eu une tendance vers les modèles « open-weights », qui peuvent être affinés par les utilisateurs finaux et utilisés pour générer des données sans passer par une API externe, une grande partie de leur développement, y compris les données utilisées pour les entraîner, reste opaque. Cette opacité limite la recherche, laissant les connaissances entre les mains de quelques grandes entreprises, et encourage la dépendance à des modèles généralistes qui peuvent ne pas être bien adaptés à une langue ou à un cas d'utilisation donné. Cette présentation décrit l'initiative OpenLLM France, dont l'objectif est de développer des LLM de taille moyenne entièrement ouverts, centrés sur la langue française. Nous décrivons notre processus ainsi que les défis que nous avons rencontrés dans notre démarche visant à construire une IA véritablement ouverte.