Google présente TurboQuant, recréé en 7 jours grâce à l’IA.
Tom Turney a recréé et amélioré l’algorithme Google TurboQuant en 7 jours, permettant de faire tourner des modèles IA de 35 milliards de paramètres sur un MacBook.
Read More
Google TurboQuant
Llama.cpp intègre Google TurboQuant : quels bénéfices pour PC ou Mac ?
TurboQuant permet une réduction de l’usage mémoire d’au moins 6x, offrant des fenêtres de contexte de 32 000 à 64 000 tokens sur des cartes graphiques milieu de gamme.
Read More