Si vous avez déjà interagi avec des modèles de langage de grande taille, vous avez sans doute remarqué qu’ils ont une voix très reconnaissable.

Ils adorent le mot tapisserie. Ils sont obsédés par tout ce qui scintille.

Et les personnages parlent constamment d’une voix à peine plus forte qu’un murmure.

Ce phénomène est appelé «slop ».

Le slop est la formulation répétitive et statistiquement surreprésentée qui rend le texte généré par l’IA évident.

Nous venons de terminer une démonstration présentant un nouveau pipeline de technique d’inférence conçu pour tuer le slop et forcer le modèle à être créatif.

Voici le flux de travail que nous avons construit :

1. Ingestion : nous tirons un modèle de base (par exemple, Llama-3 ou Mistral) directement de nos compartiments de stockage d’objets.
2. Enveloppement : nous enveloppons le modèle dans l’échantillonneur Antislop.
3. Résultat : nous exécutons des invites d’écriture créative pour comparer le modèle brut à la version Antislop.

Fonctionnement (la « recette secrète »)

Si vous interdisez simplement le mot pomme, le modèle se brise lorsque vous demandez une recette de tarte aux fruits.

L’échantillonneur Antislop adopte une approche différente. Au fur et à mesure que le modèle génère des jetons, l’échantillonneur surveille des milliers de clichés surutilisés identifiés grâce à l’analyse criminalistique de milliards de jetons.

Lorsque le modèle tente de produire un cliché comme « un profond sentiment de… » ou « des rues baignées de néons », l’échantillonneur met la génération en pause, revient au début de cette expression, réduit la probabilité du cliché et contraint le modèle à trouver une manière plus originale d’exprimer l’idée.

Il prend également en charge l’interdiction douce, ce qui signifie que si le contexte exige absolument le mot, il le permet, mais pousse autrement à la variété.

Les résultats

La différence est comme la nuit et le jour.

• Sans échantillonneur : le texte est plein de frissons qui parcourent les échines et les yeux qui se baladent.
• Avec Antislop : la sortie utilise un vocabulaire unique, des structures de phrases variées et des descriptions qui semblent humaines et surprenantes plutôt que des moyennes statistiques. Fini les tirets!

Curieux de le voir en action?

Découvrez l’environnement de démonstration complet et voyez comment l’échantillonneur Antislop transforme le texte d’IA prévisible en quelque chose de véritablement créatif, le tout sur BUZZ HPC.

‍