News & Insights
Stora språkmodeller är otroligt kraftfulla, men de kan vara oförutsägbara utan korrekt inriktning. En out-of-the-box-LLM kan producera skadliga, partiska eller nonsensiska resultat om dess beteende inte är anpassat till mänskliga värderingar och uppgiftsmål. Justeringsmetoder efter träning tar itu med denna utmaning genom att justera en i förväg tränad modells beteende så att dess svar överensstämmer med önskade principer, såsom att vara hjälpsam, sanningsenlig och säker.
I praktiken uppnås anpassning genom att finjustera modellen på feedback om dess resultat. Detta ytterligare träningssteg använder mänsklig eller AI-genererad feedback för att lära modellen vilka svar som är att föredra och vilka som bör undvikas. Genom att tillämpa inriktningsmetoder efter den inledande förberedande fasen kan en rå LLM omvandlas till en hjälpsam assistent, som OpenAI gjorde med GPT-4 för att skapa ChatGPT, eller till en domänspecifik expertmodell.
Flera justeringstekniker efter träning används i stor utsträckning idag. I den här artikeln utforskar vi de viktigaste metoderna och hur de fungerar. Vi diskuterar sedan hur dessa metoder, tillsammans med moderna finjusteringsramverk som Unsloth, kan implementeras effektivt på BUZZ HPC:s högpresterande infrastruktur. I slutändan är anpassning av LLM:er en allvarlig forsknings- och ingenjörsutmaning, och BUZZ HPC:s H200- och B200 GPU-kluster och hanterade tjänster är unikt utrustade för att möta den.
Reinforcement Learning from Human Feedback (RLHF) är en av de mest använda teknikerna för att anpassa LLM:er. Efter att en modell har förtränats på storskaliga data introducerar RLHF en återkopplingsdriven finjusteringsfas. Under denna fas utvärderar mänskliga annotatörer modellens resultat och ger preferensbedömningar. Detta innebär ofta att välja vilket av två svar som är bättre eller rangordna flera svar från bäst till sämst.
Dessa preferenser används för att träna en belöningsmodell som poängsätter kvaliteten på nya resultat. Den ursprungliga LLM:en finjusteras sedan ytterligare, vanligtvis med hjälp av algoritmer som Direct Preference Optimization (DPO) eller Proximal Policy Optimization (PPO), för att maximera belöningsmodellens poäng. I själva verket lär sig modellen att generera svar som människor föredrar. RLHF omvandlar mänskliga bedömningar till en belöningssignal som styr modellbeteendet.
Varför RLHF används i stor utsträckning
Utmaningar med RLHF
Trots dessa utmaningar är RLHF fortfarande en hörnsten i LLM-inriktning. Det har spelat en central roll för att göra verkliga chattbottar säkrare och mer anpassade till användarnas avsikter. BUZZ HPC:s plattform är helt RLHF-redo för organisationer som vill distribuera denna teknik i stor skala.
Förstärkt inlärning från AI-feedback (RLAIF) är en utveckling av RLHF som är utformad för att minska beroendet av mänskliga annotatörer. Istället för att människor ger feedback utvärderar ett AI-system modellresultat baserat på en fördefinierad uppsättning principer skrivna av människor.
I en typisk RLAIF-pipeline kritiserar och poängsätter en stark LLM eller specialiserad utvärderingsmodell målmodellens resultat enligt en konstitution av regler. Den övergripande processen speglar RLHF, men preferensetiketterna genereras av en AI snarare än människor. Till exempel kan en AI-feedbackmodell kritisera svar, generera förbättrade alternativ och märka föredragna kontra ogillade resultat. Dessa data används sedan för att träna en belöningsmodell, följt av förstärkt inlärning med hjälp av PPO. Människor förblir i stort sett passiva efter att ha definierat de vägledande principerna.
Fördelar med RLAIF
Forskning indikerar att RLAIF kan uppnå jämförbara resultat med RLHF med mycket färre mänskliga etiketter, vilket tar itu med en av RLHF:s kärnutmaningar för skalbarhet. I vissa riktmärken har RLAIF-justerade modeller till och med överträffat de som endast tränats med mänsklig återkoppling.
RLAIF kräver åtkomst till en stark AI-utvärderingsmodell, ofta en som är jämförbar i kapacitet med den modell som anpassas. Ändå representerar det en lovande väg mot automatiserad anpassning i stor skala.
BUZZ HPC-kunder utforskar aktivt RLAIF som en snabbare och mer skalbar justeringsstrategi. Genom att använda kraftfulla basmodeller (som även kan köras på vår infrastruktur) som bedömare kan du påskynda anpassningen av dina nya modeller. BUZZ HPC:s H200- och B200 GPU-instanser är idealiska för detta eftersom de ger den hästkraft som behövs för att köra stora "bedömningsmodeller" och träna policymodellen parallellt, allt inom en säker molnmiljö.
Medan RLHF och RLAIF förlitar sig på förstärkt inlärning med en belöningssignal, är en framväxande trend att finjustera modeller direkt på preferensdata med hjälp av övervakade eller delvis övervakade mål. Dessa metoder är ofta enklare, effektivare och lättare att distribuera.
Unsloth stöder många av dessa metoder direkt, och BUZZ HPC möjliggör experiment med dem i stor skala.
Odds Ratio Preference Optimization (ORPO) (Oddsförhållande preferensoptimering)
ORPO kombinerar element av RLHF och DPO till en enda enhetlig förlustfunktion. I stället för att utbilda en belöningsmodell och köra förstärkt inlärning optimerar ORPO direkt preferensnöjdhet tillsammans med huvuduppgiftens mål. Denna integration minskar utbildningens komplexitet och kostnad.
Tidig forskning tyder på att ORPO kan överträffa traditionell RLHF och DPO på vissa riktmärken [31]. Medan utformningen av den kombinerade förlustfunktionen kräver omsorg kan ORPO leverera resultat på RLHF-nivå i ett enda träningspass. Unsloth stöder ORPO, vilket gör det möjligt för BUZZ HPC-användare att experimentera utan att bygga anpassade träningspipelines.
Kahneman-Tversky Optimization (KTO) (Kahneman-Tversky-optimering)
KTO är uppkallad efter psykologerna Daniel Kahneman och Amos Tversky (kända för sitt arbete med mänskliga beslutsbias) och är en inriktningsmetod baserad på binär återkoppling, som märker utdata som bra eller dåliga. KTO är inspirerad av beteendeekonomi och fokuserar på stora kvalitetsskillnader och är mer tolerant mot brusiga etiketter.
Binär återkoppling är lättare att samla in och billigare att skala, även om den offrar en del nyans jämfört med rankningsbaserade metoder. KTO är fortfarande experimentell men erbjuder ett användbart alternativ för enklare inriktningsuppgifter.
Andra nya tekniker inkluderar Simulated Preference Optimization (SimPO) (Simulerad preferensoptimering) och GRPO- eller GSPO-varianter. Moderna bibliotek som Unsloth stöder många av dessa metoder, inklusive PPO, DPO, ORPO och KTO. Detta innebär att du kan prova olika metoder och se vad som ger de bästa resultaten för din modell, utan att behöva återuppfinna hjulet varje gång.
Med tanke på de otaliga finjusteringsmetoder som finns tillgängliga behöver du ett flexibelt ramverk för att experimentera och en kraftfull plattform att köra det på.
Unsloth är ett bibliotek med öppen källkod som snabbt har blivit en go-to-lösning för effektiv LLM-finjustering och förstärkt inlärning. Det är utformat för att göra utbildningen snabbare, enklare och mer resurseffektiv.
Det här är anledningen till att Unsloth sticker ut:
Unsloth uppnår hastighetsförbättringar i storleksordningen genom att använda anpassade GPU-kärnor och optimerade kodvägar för transformatorer. Genom att manuellt härleda matematiska operationer och handskrivna GPU-routiner har Unsloth-teamet pressat ut ineffektivitet i träningsprocessen. I praktiken innebär det att du kan finjustera modeller mycket snabbare! "Träna din egen anpassade modell på 24 timmar, inte 30 dagar" är deras motto. Riktmärken visar att Unsloth kan vara upp till 30 gånger snabbare än traditionella implementeringar (t.ex. överträffar det standardbiblioteket FlashAttention 2 med en bred marginal). För någon som gör RLHF eller storskalig finjustering på BUZZ HPC, översätts dessa hastighetsökningar direkt till lägre beräkningskostnader och snabbare iterationscykler. Du får resultat på dagar istället för veckor.
Tillsammans med hastighet är Unsloth byggd för att minimera minnesanvändningen. Den kan träna mycket stora modeller på förvånansvärt blygsam hårdvara genom att använda tekniker som 4-bitars kvantisering, gradientkontrollpunkter och optimerade minneslayouter. Faktum är att Unsloth rapporterar att den använder 90 % mindre GPU-minne jämfört med baslinjens tillvägagångssätt i vissa inställningar. Ett praktiskt exempel: med Unsloths 4-bitars utbildning (QLoRA) har användarna finjusterat 7B+ parametermodeller på en enda GPU med endast ~3 GB VRAM. Detta innebär att även mindre team utan tillgång till gigantiska GPU-kluster kan göra finjusteringar, och de som har tillgång till BUZZ HPC:s H200/B200 GPU:er kan enkelt hantera enorma modeller (50B, 100B eller större), eftersom Unsloth pressar in mer modell i minnet. Hög effektivitet möjliggör också större batchstorlekar eller längre sekvenslängder på en given GPU, vilket kan förbättra utbildningskvaliteten. I huvudsak låter Unsloth dig göra mer med mindre, eller om du har mycket, låter det dig utnyttja det till max.
Unsloth lyser i distribuerade miljöer. Det är testat från 1 GPU till 100+ GPU:er, och dess företagsversion stöder multi-node-träning för massiva skalningar. Funktioner som 8-bitars optimerare, gradientackumulering och synkroniserad distribuerad träning är inbyggda. Unsloth Enterprise lovar till och med 30 gånger snabbare träning på kluster med flera noder (jämfört med baslinjen) och upp till fem gånger snabbare inferens med optimerade kärnor.
För en BUZZ HPC-användare innebär det att du kan utnyttja ett helt kluster av H200- eller B200-GPU:er och lita på att Unsloth effektivt kommer att fördela arbetsbelastningen över dem.
Bibliotekets optimeringar, såsom en smart mesh-medveten schemaläggning och dess användning av NVIDIA:s senaste transformatorfunktioner, säkerställer nära linjär skalning när du lägger till fler GPU:er. I praktiken, om du har ett 8×H200-kluster på BUZZ HPC, kan Unsloth använda alla GPU:er med hög effektivitet, och om du har 64 eller 128 GPU:er över flera noder, kan Unsloth hantera det också. Denna skalningsnivå är avgörande för uppgifter som finjustering av en 70B- eller 175B-parametermodell, eller för att köra RLHF där du kan dedikera vissa GPU:er till att generera upplevelser och andra till att träna policymodellen samtidigt.
Med Unsloth som superladdar finjusteringsprocessen är den enda andra ingrediensen du behöver en kraftfull datorplattform, vilket är där BUZZ HPC:s infrastruktur kommer in. Kombinationen av Unsloth + BUZZ HPC innebär att även mycket storskaliga justeringsprojekt (tänk att träna din egen ChatGPT-liknande modell med RLHF, eller finjustera en ny 100B-parameter LLM) blir genomförbara och kostnadseffektiva.
BUZZ HPC är ett högpresterande AI-moln som är specialbyggt för storskalig utbildning, justering efter utbildning och distribution av stora språkmodeller.
Eftersom justeringsmetoder som RLHF, RLAIF, DPO, ORPO och KTO blir alltmer beräkningsintensiva ger BUZZ HPC den idé-miljö som krävs för att få jobbet gjort effektivt. Det här är anledningen:
På hårdvarulagret erbjuder BUZZ HPC tillgång till de senaste NVIDIA Tensor Core GPU:erna, inklusive H200- och B200-system, som är specifikt optimerade för moderna LLM-tränings- och anpassningsarbetsbelastningar. H200 förbättrar den tidigare generationens H100 genom att öka tillgängligt VRAM till 141 GB HBM3e-minne, vilket möjliggör större batchstorlekar, längre kontextlängder och mer stabil optimering under finjustering och RLHF-stilsträning. B200 utökar dessa funktioner ytterligare med 192 GB ultrasnabbt HBM3e-minne och femte generationens Tensor Cores, vilket gör den till NVIDIA:s mest kraftfulla GPU för storskalig utbildning hittills. Prestandatest visar att B200-system kan slutföra träningsuppgifter för stora modeller på ungefär hälften av tiden för H100- eller H200-system och finjustera modeller i LLaMA-70B-klassen över två gånger snabbare än H200. För anpassningsarbetsbelastningar innebär denna minskning av väggklockstiden direkt lägre total träningskostnad genom att minska de nödvändiga GPU-timmarna.
BUZZ HPC gör det möjligt för team att välja den optimala hårdvarukonfigurationen baserat på arbetsbelastningens egenskaper och budgetbegränsningar. H200-instanser ger en stark balans mellan pris och prestanda för kostnadskänsliga finjusteringar och justeringskörningar, medan B200-instanser är idealiska för höggenomströmning RLHF, RLAIF och storskaliga arbetsbelastningar för preferensoptimering där tid-till-resultat är kritisk. I stället för att optimera för enbart GPU-kostnad per timme gör BUZZ HPC det möjligt för kunder att optimera för kostnad per utbildad token eller kostnad per justeringsiteration, vilket ofta är lägre på snabbare hårdvara när den används fullt ut.
Många justeringstekniker, särskilt RLHF och RLAIF, kräver distribuerad träning över flera GPU:er och noder, inklusive parallell belöningsmodellträning, policyoptimering och storskalig erfarenhetsgenerering. BUZZ HPC:s molninfrastruktur är utformad för att stödja dessa mönster i stor skala. Kluster är byggda med låg latens, hög bandbredd NVLink och NVSwitch sammankopplingar, vilket möjliggör effektiv gradient synkronisering och minimerar kommunikations overhead under multi-GPU utbildning[57]. BUZZ HPC:s mesh-medvetna schemaläggning och klusterkonfiguration kan förbättra teraflop-to-token-effektiviteten med upp till 40 procent jämfört med baslinjens PyTorch-distribuerade dataparallella konfigurationer, vilket håller GPU:er produktivt utnyttjade under kommunikationskrävande anpassningsfaser. Dessa funktioner gör det möjligt för RLHF- och RLAIF-arbetsbelastningar att skalas till dussintals eller hundratals GPU:er utan de flaskhalsar som vanligtvis begränsar distribuerade förstärkta inlärningspipelines.
På Grace-Blackwell-system som är värd för B200 GPU:er ger NVLink 5-anslutning upp till 1,8 TB per sekund GPU-till-GPU-bandbredd, vilket ytterligare minskar flaskhalsar vid skalning av modellparallellism, pipelineparallellism eller multi-modellträning som är vanliga i justeringsflöden. Denna nivå av sammankopplingsprestanda är särskilt viktig för stora belöningsmodeller och policymodeller som måste byta parametrar och gradienter ofta under träning.
Anpassningsflöden är iterativa och kan vara dyra, vilket ofta kräver flera träningscykler för att uppnå acceptabelt beteende. BUZZ HPC tar itu med detta genom att minska den totala ägandekostnaden för både träning och inferens. Snabbare hårdvara förkortar iterationscykler, vilket gör det möjligt för team att testa anpassningsstrategier snabbare och konvergera med färre övergripande experiment[55]. BUZZ HPC stöder flexibla förbrukningsmodeller, inklusive användning på begäran, reserverad kapacitet för långvariga justeringsprojekt och kortsiktig tillgång till avancerade GPU:er för tidskänsliga experiment. När en modell är anpassad gör BUZZ HPC:s hanterade inferenstjänster det möjligt för team att distribuera modeller direkt bakom skalbara API:er, och betalar endast för förbrukad GPU-tid eller utgångstoken, ofta till en lägre kostnad än tredje parts LLM-API:er.
Operativ komplexitet är ett annat stort hinder för att köra justeringsflöden. BuzzHPC minskar denna friktion genom hanterade finjusteringar och inferenstjänster som abstraherar bort mycket av den underliggande infrastrukturhanteringen. Plattformen stöder allmänt använda ramverk som Hugging Face Transformers, DeepSpeed, Megatron-LM och Unsloth, med inbyggt stöd för LoRA, QLoRA, RLHF, DPO och relaterade justeringsmetoder.
BUZZ HPC-miljöer valideras för kompatibilitet mellan PyTorch- och CUDA-versioner, inklusive stöd för FP8-träning på GPU:er i Blackwell-klassen, vilket säkerställer att moderna finjusteringstekniker körs pålitligt på H200- och B200-system.
Användare kan starta interaktiva Jupyter-miljöer med Unsloth förinstallerat eller skicka in distribuerade träningsjobb via API:er och CLI-verktyg med hjälp av stödda Docker-bilder, vilket möjliggör snabba experiment utan omfattande miljöinställningar. Dessutom inkluderar BUZZ HPC:s supportteam AI-utövare med erfarenhet av att köra justeringspipelines som kan hjälpa till med belöningsmodelldesign, PPO-stabilitet och hyperparameterval, vilket hjälper organisationer att framgångsrikt utföra RLHF- och RLAIF-arbetsflöden även utan djup intern MLOps-expertis.
Utöver utbildning ger BUZZ HPC stöd för hela livscykeln för justerade modeller. Högpresterande lagring stöder storskaliga preferensdataset, medan integrerade utvärderingsverktyg möjliggör analys av säkerhet, bias och beteendekonsekvens efter justering. Säkra, isolerade miljöer som BUZZ HPC:s Secure AI Factory möjliggör finjustering av känsliga eller reglerade data utan extern nätverksåtkomst, vilket uppfyller företagens och den offentliga sektorns krav på datasuveränitet och efterlevnad. När de väl har distribuerats ger BUZZ HPC:s inferensslutpunkter övervakning, loggning, driftdetektering och styrningsfunktioner för att stödja kontinuerlig modellövervakning och reproducerbarhet.
Genom att kombinera toppmodern GPU-hårdvara, skalbar distribuerad utbildning, kostnadseffektiva förbrukningsmodeller och hanterad operativ support gör BUZZ HPC det möjligt för team att justera och finjustera högpresterande språkmodeller snabbare, mer tillförlitligt och till lägre total kostnad än traditionella molnmetoder.
Om du är angelägen om att omsätta dessa idéer i praktiken finns det inget bättre tillfälle.
Med BUZZ HPC får du tillgång till samma banbrytande hårdvara som används av världens ledande AI-laboratorier, utan komplexiteten att hantera den själv. Tillsammans med Unsloth kan du påskynda finjustering, optimera kostnader och distribuera anpassade modeller med tillförsikt.
Kontakta BUZZ HPC för att se hur vi kan driva dina justerings- och finjusteringsprojekt, oavsett om du bygger en anpassad assistent, upprätthåller din organisations etikpolicy eller skalar LLM:er i hela ditt företag. Låt BUZZ HPC hantera infrastrukturen så att du kan fokusera på att skapa intelligenta, anpassade AI-lösningar som definierar framtiden.
