Wahib Larbi présente son essai

Maitrise en sciences et technologies de l’information – profil professionnel

Présentation de l’Essai de Wahib Larbi

Mercredi16 octobre 2024, 10h00 sur ZOOM

Rejoignez la réunion à partir du lien zoom :
https://uqo.zoom.us/j/87857655431?pwd=ZjW9ubWXZeGnp8WBNGgRU1ImK6iKM6.1N
Numéro de la réunion : 878 5765 5431

TITRE : Évaluation des connaissances et des compétences des modèles de
langage de grande taille (LLM) en matière de cybersécurité

Résumé : Les grands modèles de langage (LLM) sont de plus en plus utilisés dans divers
domaines, allant du développement de logiciels à la cyber-intelligence. La cybersécurité,
qui englobe des sujets complexes tels que la cryptographie, l'ingénierie inverse et la
gestion des risques, présente un défi même pour les experts humains. Cet essai explore
l'étendue des connaissances et des compétences des LLM les plus performants, tels que
GPT-4, LLaMA 3.1, Mistral-large et Gemini-1.5, dans ce domaine critique. Pour évaluer
leur potentiel à comprendre et à résoudre des opérations de cybersécurité, nous avons
défini un cadre de référence systématique. Cette évaluation se divise en deux volets : les
connaissances théoriques (compréhension des concepts) et les compétences pratiques
(application dans des scénarios réels). Les réponses des modèles ont été évaluées selon
des métriques spécifiques à chaque type de question, permettant ainsi de mesurer leurs
performances. Nos résultats montrent des variations significatives entre les LLM et les
diQérents domaines de la cybersécurité, révélant leurs points forts et leurs limites. Ce
travail pose les bases d'une évaluation standardisée des LLM dans le domaine de la
cybersécurité et ouvre des perspectives pour des recherches futures.

Président du jury : Prof. Omer Landry Nguena Timo
Membre du jury : Prof. Hajar Moudoud
Directeur de recherche : Prof. Kamel Adi