Om du har tillbringat någon tid med att fråga stora språkmodeller har du förmodligen märkt att de har en mycket specifik röst.

De älskar ordet gobeläng. De är besatta av allt som skimrar.

Och karaktärer talar ständigt med en röst som knappt är högre än en viskning.

Detta fenomen kallas slop.

Slop är den repetitiva, statistiskt överrepresenterade formuleringen som gör att AI-genererad text känns uppenbar.

Vi har precis avslutat en demo som visar en ny pipeline för inferensteknik som är utformad för att döda slop och tvinga modellen att vara kreativ.

Här är arbetsflödet vi byggde:

1. Intag: Vi hämtar en basmodell (t.ex. Llama-3 eller Mistral) direkt från våra objektlagringshinkar.
2. Omslag: Vi omsluter modellen i Antislop Sampler.
3. Utdata: Vi kör kreativa skrivprompter för att jämföra råmodellen med Antislop-versionen.

Så här fungerar det (Den "hemliga ingrediensen")

Om du helt enkelt förbjuder ordet äpple, bryts modellen när du ber om ett recept på fruktpaj.

Antislop Sampler har ett annat tillvägagångssätt. När modellen genererar tokens, håller samplern utkik efter tusentals överanvända klichéer som identifierats genom rättsmedicinsk analys av miljarder tokens.

När modellen försöker mata ut en kliché som "en djup känsla av" eller "neondränkta gator", pausar samplern, spolar tillbaka generationen till början av den frasen, minskar sannolikheten för klichén och tvingar modellen att hitta ett mer originellt sätt att uttrycka idén.

Den stöder också mjukt förbud, vilket innebär att om sammanhanget absolut kräver ordet, tillåter det det, men annars driver det på för variation.

Resultaten

Skillnaden är som natt och dag.

• Utan Sampler: Texten är full av rysningar som längs ryggraden och ögon som rullar.
• Med Antislop: Utgången använder unikt ordförråd, varierade meningsstrukturer och beskrivningar som känns mänskliga och överraskande snarare än statistiska medelvärden. Inga fler bindestreck!

Nyfiken på att se det i aktion?

Kolla in hela demomiljön och se hur Antislop Sampler omvandlar förutsägbar AI-text till något genuint kreativt, allt på BUZZ HPC.

‍