Citation copiée avec succès!

Comment nous citer ?

Pour citer l'article du leaderboard Masculead, cliquez ici !

Pour citer l'article Women do not have heart attacks!, cliquez ici !

@inproceedings{ducel-etal-2025-women,
  title = "{\textquotedblleft}Women do not have heart attacks!{\textquotedblright} Gender Biases in Automatically Generated Clinical Cases in {F}rench",
  author = {Ducel, Fanny and Hiebel, Nicolas and Ferret, Olivier and Fort, Kar{\"e}n and N{\'e}v{\'e}ol, Aur{\'e}lie},
  editor = "Chiruzzo, Luis and Ritter, Alan and Wang, Lu",
  booktitle = "Findings of the Association for Computational Linguistics: NAACL 2025",
  month = apr,
  year = "2025",
  address = "Albuquerque, New Mexico",
  publisher = "Association for Computational Linguistics",
  url = "https://aclanthology.org/2025.findings-naacl.398/",
  pages = "7145--7159",
  ISBN = "979-8-89176-195-7",
  abstract = "Healthcare professionals are increasingly including Language Models (LMs) in clinical practice. However, LMs have been shown to exhibit and amplify stereotypical biases that can cause life-threatening harm in a medical context. This study aims to evaluate gender biases in automatically generated clinical cases in French, on ten disorders. Using seven LMs fine-tuned for clinical case generation and an automatic linguistic gender detection tool, we measure the associations between disorders and gender. We unveil that LMs over-generate cases describing male patients, creating synthetic corpora that are not consistent with documented prevalence for these disorders. For instance, when prompts do not specify a gender, LMs generate eight times more clinical cases describing male (vs. female patients) for heart attack. We discuss the ideal synthetic clinical case corpus and establish that explicitly mentioning demographic information in generation instructions appears to be the fairest strategy. In conclusion, we argue that the presence of gender biases in synthetic text raises concerns about LM-induced harm, especially for women and transgender people."
}

Qu’est-ce qui se cache derrière cet outil ?

L'outil vise à détecter les biais de genre binaire en français. Après avoir généré des textes rédigés à la première personne du singulier, comme des lettres de motivation, vous pouvez téléverser le fichier CSV contenant ces générations. Une détection automatique du genre sera effectuée, et des métriques de biais seront calculées afin d’évaluer le modèle de langue utilisé. Vous pouvez utiliser des prompts genrés (qui contiennent un marqueur de genre) ou des prompts neutres (sans aucun marqueur de genre).

Détection de genre

Grâce au système de détection du genre, les textes générés seront annotés avec le genre de l’auteur·ice supposé·e du texte. Les étiquettes possibles sont : féminin, masculin, neutre (= aucun marqueur de genre), ou ambigu (= autant de marqueurs masculins que féminins).
Le système repose à la fois sur l’apprentissage automatique (spaCy, avec CamemBERT, un modèle basé sur les transformers) et sur des règles linguistiques (fondées sur des ressources lexicales et sémantiques) pour détecter les marqueurs de genre. Les marqueurs de genre d’un même texte sont comptabilisés, et le genre associé au plus grand nombre de marqueurs est utilisé comme étiquette du texte.

Exemple : La phrase « Je suis une femme passionnée d'informatique, j’ai fait un master en TAL et je suis dotée de compétences en linguistique. » serait étiquetée « féminin » car elle contient plusieurs indices linguistiques marquant le genre féminin : « femme », « passionnée » et « dotée ».

Évaluation des biais

Écart Genré (Gender Gap)

L’Écart Genré représente l’écart de représentation entre les genres et met en évidence si un genre est plus présent qu’un autre. Il s’agit de la différence entre la proportion de textes masculins et la proportion de textes féminins. Dans l’article initial, les Écarts Genrés peuvent être positifs (biais en faveur du masculin) ou négatifs (biais en faveur du féminin). L’écart idéal est 0, ce qui signifie qu’il y a autant de textes masculins que féminins.
Toutefois, pour faciliter la comparaison avec GS, les tableaux de classement utilisent les valeurs absolues de l’Écart Genré, en mentionnant la direction du biais (GG-masc pour les scores précédemment positifs, GG-fem pour les scores précédemment négatifs).

Exemple : Si un corpus de textes générés contient 80% de textes masculins, 15% de textes féminins, 3% de textes neutres et 2% de textes ambigus, alors son Écart Genré sera de 65 (80 - 15).

Mégenrage (Gender Shift)

Le Mégenrage ne s’applique qu’aux textes générés à partir de prompts genrés. Il cible les textes qui contredisent le genre du prompt, c’est-à-dire un texte étiqueté masculin alors que son prompt était féminin. Il s’agit de la proportion de textes incohérents avec le genre du prompt, soit la somme des proportions de textes à genre opposé et de textes ambigus.

Exemple : On examine uniquement les textes générés en réponse à des prompts féminins. Si 60% d’entre eux sont féminins, 20% masculins, 5% ambigus et 15% neutres, alors le Mégenrage est de 25% (20 + 5).

MascuLead

MascuLead est le nom du tableau de classement (leaderboard) basé sur l’Écart Genré et le Mégenrage. Les scores sont différenciés selon la direction du biais (favorise-t-il les marqueurs masculins ou féminins ?) et selon le type de prompt utilisé (neutre ou genré). Plus de détails sur ce classement et son importance sont disponibles dans l'article EALM (Lien à venir). (lien à venir).