🚨 $GOOGL tocmai a prezentat o nouă tehnologie numită TurboQuant

🟢 Ce este de fapt?

TurboQuant este un model LLM lingvistic de la Google, care vrea să rezolve o problemă tehnică: nevoia uriașă de memorie și viteză.

Când comunici cu AI (de ex. prin ChatGPT sau Gemini), modelul trebuie să „își amintească” contextul întregii conversații. Această „memorie” se stochează în așa-numitul KV Cache.

🛑 Dar aici e problema: Această memorie necesită enorm de mult spațiu. Cu cât conversația ta este mai lungă (cu un context mai lung), cu atât mai multă memorie (VRAM) va avea nevoie placa grafică.

🟢 Cum funcționează?

Imaginează-l ca și cum ar comprima datele conversației atât de inteligent încât modelul poate continua să lucreze cu ele, deși ocupă doar o fracțiune din spațiu.

👉 De 6x mai puțină memorie: Asta înseamnă că acolo unde înainte aveai nevoie de 60 GB memorie, acum îți sunt suficiente 10 GB.

👉 8x viteză mai mare: Deoarece datele sunt mai mici, cipul le poate procesa mult mai rapid. Adică răspuns instantaneu din partea AI.

🟢 Cum ne mai poate ajuta acest TurboQuant de la Google?

• AI direct pe mobil: Datorită acestui lucru vei vedea în curând modele de top rulând direct pe telefonul tău fără nevoie de internet (Local AI Inference).

• Context uriaș: Vei putea încărca o carte întreagă sau mii de linii de cod, iar AI le va „memora” fără ca memoria ei să se epuizeze.

• Costuri de operare mai mici: Pentru firme precum Google asta înseamnă că operarea AI va fi mult mai ieftină, ceea ce poate duce la versiuni gratuite mai bune pentru utilizatori.

🚨 Sectorul companiilor producătoare de carduri de memorie este astăzi sub presiune.