Score d'accordComment Alethe AI mesure si les modèles sont vraiment d'accord, et pas juste d'accord sur les mots.
Le problème de la comparaison de texteDeux réponses peuvent utiliser des mots complètement différents et vouloir dire la même chose : ou au contraire, utiliser les mêmes mots et vouloir dire le contraire. Une comparaison mot-à-mot serait inutile.
Même sens, mots différents"L'IA doit être régulée" ≈ "Des garde-fous juridiques sont nécessaires pour l'intelligence artificielle"
Mêmes mots, sens opposé"La liberté est essentielle" (libérale) vs "La liberté sans limites est dangereuse" (régulatrice)
La solution : les embeddings vectorielsUn embedding est une représentation mathématique du sens d'un texte sous forme de vecteur, un tableau de centaines de chiffres. Deux textes sémantiquement proches produisent des vecteurs proches dans l'espace vectoriel.
Le calcul du score
1
Embeddings générésChaque réponse IA est convertie en vecteur par un modèle d'embeddings.
2
Similarité cosinusOn calcule la similarité cosinus entre chaque paire de vecteurs : un angle faible = idées proches.
3
Score agrégéLa moyenne des similarités donne le score d'accord global, exprimé en pourcentage.
Utilisé en interne, non affiché
Le score d'accord n'est pas affiché aux utilisateurs pendant une conversation. Nous l'utilisons en interne pour évaluer la qualité des débats, identifier des patterns et améliorer continuellement le système.
Évaluation qualitéChaque débat est scoré pour mesurer à quel point les modèles ont convergé.
TestsNous faisons tourner des tests automatisés pour valider les améliorations de prompts via les variations de score.
Amélioration systèmeLes tendances de score guident nos décisions sur les prompts, les modèles et les conditions d'arrêt.
Conditions d'arrêt
Limite d'usage atteinteLe débat s'arrête quand vous atteignez la limite d'usage de votre plan (un plafond de tokens en Free, un budget d'usage mensuel en Pro et Apex).
Stop manuelVous pouvez arrêter le débat à tout moment. Tous les messages sont sauvegardés.