Fra en AI sitt perspektiv på menneskelig helbredelse etter en skilsmisse
Groq utvikler skreddersydde prosessorer som kan bli en gamechanger innen AI og legge grunnlaget for fremtidige innovasjoner og fremskritt innen bærekraftig utnyttelse av kunstig intelligens.
Enorm vekst på grafikkort for kunstig intelligens
Nylig passerte Nvidia 2000 milliarder dollar i verdi, og plasserte seg med det som verdens fjerde mest verdifulle selskap, kun slått av Microsoft, Apple og Saudi Aramco, men foran giganter som Amazon, Alphabet, Meta, Tesla og alle andre selskaper du anser som både store og kjente. Det tok for eksempel Nvidia nesten 24 år å oppnå 1000 milliarder dollar i verdi, men bare 8 måneder å passere 2000. Da dette ble publisert har Nvidia falt noe tilbake, til rett under 2000 milliarder.
Nvidia etablerte seg som et GPU-selskap, Graphics Processing Unit, et selskap som utviklet grafikkprosessorer og da mest av alt til gaming-PC-er. Disse prosessorene viste seg å gjøre en svært god jobb for å utvinne kryptovaluta, men det var først som AI-prosessor at markedsveksten til Nvidia virkelig tok av. Nå har det dukket opp en ny aktør som kan utfordre både posisjonen til Nvidia, men også den rådende GPU-dominansen innenfor AI-feltet.
Du finner Teknologitrender på din favoritt podkast-spiller, som blant annet Acast, Apple Podcaster, Overcast, TuneIn Radio, Spotify, Google Podcasts, Podimo og PodMe.
//Artikkelen fortsetter etter annonsen//
Spesiallagde chip-er for store språkmodeller
Groq, med q,er et relativt ukjent selskap, og må ikke misforståes med Elon Musk sin Chatbot, Grok, med k. Groq har skapt overskrifter – men enn så lenge ikke her i Norge – med sin banebrytende Language Processing Unit (LPU) som setter helt nye standarder for hastighet og effektivitet i behandlingen av store språkmodeller (LLMs). Groq sin LPU er designet spesifikt for å håndtere språkoppgaver med enestående hastighet. Mens tradisjonelle databehandlingssystemer er avhengige av parallell prosessering, slik som Nvidia gjør i sine GPU-er, benytter LPU seg av en sekvensiell prosesseringsmetode som gjør den svært godt egnet for forståelse og generering av språk.
Parallell vs sekvensiell prosessering
Kort fortalt er forskjellen mellom parallell og sekvensiell prosessering at mens GPU-ene til Nvidia utfører databehandlingen ved å dele opp oppgaver i mange små deler som prosesseres parallelt, noe som er perfekt for et bredt spekter av oppgaver, inkludert gaming og store språkmodeller, vil den sekvensielle eller strømlinjeformede prosesseringen som optimaliserer dataflyten gjennom LPU-en til Groq, resultere i lynrask ytelse for spesifikke oppgaver, som store språkmodeller.
Groqs tilnærming gjør deres LPUs ideelt egnet for å takle de mest presserende utfordringene knyttet til store språkmodeller: deres evne til å prosessere store mengder data samtidig – referert til som beregningsdensitet, og hastigheten på dataoverføring, også kjent som minnebåndbredde. Resultatet er en løsning som ikke bare opererer betydelig raskere, men som også er mer energieffektiv og kostnadseffektiv sammenlignet med tradisjonelle GPU-er.
Groq er 12 ganger raskere enn ChatGPT 3.5
Groq sine LPU-er kjører i tillegg på store språkmodeller som Llama-2 og Mixtral-8x7b, som begge er basert på åpen kildekode, med utrolige hastigheter. Mens Groq kan generere opptil 500 tokens per sekund, kan for eksempel ChatGPT 3.5 kun kjøre 40 tokens på samme tid.
En «token» i denne sammenhengen, kan sees på som et stykke av den teksten som modellen behandler. Her kan det være alt fra et ord, et tall, et tegnsettingstegn, inkludert mellomrom, eller en del av et ord. Tokens er de grunnleggende byggesteinene som benyttes av både store språkmodeller, men i det store og hele av de fleste generative AI-tjenestene. For eksempel vil setningen «Jeg elsker kunstig intelligens» brytes ned ni tokens, hvorav fire tokens for ordene, i tillegg til tre mellomrom og et punktum.
Jeg stilte samme spørsmål til både Groq og ChatGPT 3.5; Kan du forklare meg på en detaljert måte forskjellen mellom Kanemans system 1 og system 2, og hvilket system som primært dominerer diskursen i sosiale medier?
ChatGPT brukte rett i underkant av 9 sekunder på å skrive et svar bestående av 271 ord, mens Groq brukte rett i underkant av 1 sekund på å skrive 372 ord.
Begge to var enige om at system 1 er det mest fremtredende, det emosjonelle systemet, som passer godt til sosiale medier, som er – og jeg siterer fra svaret til ChatGPT 3.5 – “kjent for å skape en plattform for umiddelbare reaksjoner, hvor innholdet ofte er designet for å fange oppmerksomheten raskt og trigge følelser. Dette resulterer i at folk ofte reagerer impulsivt, deler innhold uten å tenke grundig over det, og reagerer sterkt på ting som vekker emosjonelle reaksjoner”.
Jeg stilte samme spørsmål til ChatGPT 4.0, som brukte 1 minutt og 9 sekunder på å skrive 497 ord, bestående av et veldig godt og detaljert svar.
//Artikkelen fortsetter etter annonsen//
Baner vei for en mer bærekraftig fremtid for kunstig intelligens
Jonathan Ross, grunnleggeren av Groq og nøkkelpersonen bak utviklingen av Googles Tensor Processing Unit (TPU), startet selskapet i 2016 med en visjon om å omdefinere tilnærmingen til språkbehandlingsoppgaver. Han sikter mot å skape en maskinvare som er skreddersydd for programvarens krav. Groqs lansering av Language Processing Units (LPU) utgjør en viktig vendepunkt i AI-sektoren. Ved å introdusere en løsning som betraktelig forbedrer ytelsen for språkbehandlingsoppgaver sammenlignet med tradisjonelle GPU-er, utfordrer Groq ikke bare dominerende aktører som NVIDIA, men baner også vei for nye applikasjoner og bruksområder for AI.
Med sitt engasjement for hastighet, effektivitet og kostnadseffektivitet, kan Groq potensielt endre spillereglene innen AI, og legge til rette for fremtidige innovasjoner samt fremgang innenfor bærekraftig anvendelse av kunstig intelligens.
Bilde: Midjourney
