Presentació

Creus que GROK3 serà el "punt final" dels models pre-entrenats?

Elon Musk i l'equip de Xai van llançar oficialment la darrera versió de Grok, Grok3, durant un streaming. Abans d’aquest esdeveniment, una quantitat important d’informació relacionada, juntament amb el bombo promocional de Musk 24 hores, va augmentar les expectatives globals de GROK3 fins a nivells sense precedents. Fa una setmana, Musk va declarar amb seguretat durant un streaming en directe mentre començava a Deepseek R1, "Xai està a punt de llançar un model de IA millor". A partir de les dades presentades en directe, Grok3 ha superat tots els models principals actuals en punts de referència per a les matemàtiques, la ciència i la programació, amb Musk fins i tot afirmant que GROK3 s’utilitzarà per a tasques computacionals relacionades amb les missions de MARS de SpaceX, previst que “avenços al nivell del premi Nobel en un termini de tres anys”. Tot i això, actualment són només les afirmacions de Musk. Després del llançament, vaig provar la darrera versió beta de Grok3 i vaig plantejar la pregunta clàssica de trucs per a models grans: "Quina és més gran, 9.11 o 9.9?" Lamentablement, sense qualificar-se ni marques, l’anomenat GROK3 més intel·ligent encara no va poder respondre correctament a aquesta pregunta. GROK3 no ha pogut identificar amb precisió el significat de la pregunta.

Aquesta prova va cridar ràpidament una atenció considerable de molts amics i, casualment, diverses proves similars a l'estranger han demostrat que Grok3 lluitava amb preguntes bàsiques de física/matemàtiques com "Quina bola cau primer de la torre inclinada de Pisa?" Així, s'ha etiquetat amb humor com "un geni que no vol respondre a preguntes senzilles".

GROK3 és bo, però no és millor que R1 o O1-Pro.

GROK3 va experimentar "fracassos" en moltes proves de coneixement comunes a la pràctica. Durant l'esdeveniment de llançament de Xai, Musk va demostrar l'ús de GROK3 per analitzar les classes i els efectes de personatges de la ruta del joc de l'exili 2, que va afirmar que jugava sovint, però la majoria de les respostes proporcionades per Grok3 eren incorrectes. Musk durant el streaming no va notar aquest problema evident.

Aquest error no només va proporcionar proves addicionals perquè els internautes de l'estranger es burlessin de Musk per "trobar un substitut" en jocs, sinó que també va plantejar preocupacions importants sobre la fiabilitat de GROK3 en aplicacions pràctiques. Per a un "geni", independentment de les seves capacitats reals, la seva fiabilitat en escenaris d'aplicacions extremadament complexos, com les tasques d'exploració de Mart, continua sent en dubte.

Actualment, molts provadors que van rebre accés a Grok3 fa setmanes i els que acaben de provar les capacitats del model durant unes hores ahir, tots apunten a una conclusió comuna: "Grok3 és bo, però no és millor que R1 o O1-Pro".

Una perspectiva crítica sobre "interrompre la nvidia"

En el PPT presentat oficialment durant el llançament, es va demostrar que GROK3 estava "molt endavant" a l'arena de chatbot, però aquesta tècnica gràfica utilitzada intel·ligent: l'eix vertical de la taula de classificació només enumerava els resultats en el rang de puntuació 1400-1300, fent que la diferència original de l'1% en els resultats de les proves sembli excepcionalment significatiu en aquesta presentació.

En els resultats de la puntuació del model real, GROK3 està a només un 1-2% per davant de DeepSeek R1 i GPT-4.0, que correspon a les experiències de molts usuaris en proves pràctiques que no van trobar "cap diferència notable". GROK3 només supera els seus successors en un 1%-2%.

Tot i que GROK3 ha anotat més alt que tots els models provats públicament, molts no es prenen seriosament: al cap i a la fi, Xai ha estat criticat anteriorment per la "manipulació de puntuació" en l'era GROK2. A mesura que la taula de classificació va penalitzar l'estil de longitud de resposta, les puntuacions van disminuir molt, portant als interiors de la indústria a criticar sovint el fenomen de "alta puntuació però baixa capacitat".

Ja sigui mitjançant la "manipulació" de la taula de classificació o els trucs de disseny en il·lustracions, revelen l'obsessió de Xai i Musk per la noció de "liderar el paquet" en les capacitats del model. Musk va pagar un preu abrupte per aquests marges: durant el llançament, es va presumir d’utilitzar 200.000 GPU H100 (reclamant “més de 100.000” durant el streaming) i assolir un temps d’entrenament total de 200 milions d’hores. Això va fer que alguns creguessin que representa un altre avantatge significatiu per a la indústria de la GPU i que considerés que l'impacte de DeepSeek en el sector com a "ximple". Sobretot, alguns creuen que la seva potència computacional serà el futur de la formació del model.

Tot i això, alguns internautes van comparar el consum de 2000 GPU H800 al llarg de dos mesos per produir DeepSeek V3, calculant que el consum d'energia de formació real de GROK3 és 263 vegades el de V3. La bretxa entre Deepseek V3, que va anotar 1402 punts, i Grok3 és de poc menys de 100 punts. Després del llançament d'aquestes dades, molts es van adonar ràpidament que darrere del títol de Grok3 com a "més fort del món" es troba en un clar efecte d'utilitat marginal: la lògica de models més grans que generen un rendiment més fort ha començat a mostrar rendiments disminuïts.

Fins i tot amb "alta puntuació però baixa capacitat", GROK2 tenia grans quantitats de dades de primera qualitat de la plataforma X (Twitter) per donar suport a l'ús. No obstant això, en la formació de Grok3, Xai es va trobar de manera natural amb el "sostre" que s'enfronta actualment a Openai: la manca de dades de formació premium exposa ràpidament la utilitat marginal de les capacitats del model.

Els desenvolupadors de Grok3 i Musk són probablement els primers a comprendre i identificar aquests fets profundament, és per això que Musk ha esmentat contínuament a les xarxes socials que els usuaris de la versió estan experimentant ara és "encara només la beta" i que "la versió completa es publicarà en els propers mesos". Musk ha assumit el paper del gestor de productes de GROK3, cosa que suggereix que els usuaris proporcionen comentaris sobre diversos problemes que es troben a la secció de comentaris.

Tot i això, en un dia, el rendiment de Grok3 va augmentar, sens dubte, alarmes per a aquells que esperaven confiar en el "múscul computacional massiu" per entrenar models grans forts: basat en informació de Microsoft disponible públicament, el GPT-4 d'Openai té una mida de paràmetres d'1,8 bilions de paràmetres, més de deu vegades que de GPT-3. Els rumors suggereixen que la mida del paràmetre de GPT-4.5 pot ser encara més gran.

A mesura que els paràmetres del model augmenten, els costos de formació també es disparen. Amb la presència de Grok3, els candidats com GPT-4.5 i altres que desitgin continuar “cremar diners” per aconseguir un millor rendiment del model mitjançant la mida del paràmetre han de considerar el sostre que ara està clarament a la vista i contempla com superar-lo. En aquest moment, Ilya Sutskever, antiga científica de l'Openai, havia declarat anteriorment el desembre passat, "El pre-entrenament que coneixem acabarà", que ha ressorgit en les discussions, provocant esforços per trobar el veritable camí per entrenar grans models.

El punt de vista d’Ilya ha sonat l’alarma a la indústria. Va preveure amb precisió l'esgotament imminent de les noves dades accessibles, donant lloc a una situació en què el rendiment no es pot continuar millorant mitjançant l'adquisició de dades, comparant -la amb l'esgotament dels combustibles fòssils. Va indicar que "com el petroli, el contingut generat per humans a Internet és un recurs limitat". En les prediccions de Sutskever, la propera generació de models, post-formació, tindrà una "veritable autonomia" i capacitats de raonament "similars al cervell humà".

A diferència dels models pre-entrenats actuals que es basen principalment en la concordança de contingut (basat en el contingut del model anteriorment après), els futurs sistemes d’AI podran aprendre i establir metodologies per resoldre problemes d’una manera similar al “pensament” del cervell humà. L’ésser humà pot assolir una competència fonamental en un tema amb una literatura professional bàsica, mentre que un model gran de la IA requereix milions de punts de dades per aconseguir només l’eficàcia bàsica a nivell d’entrada. Fins i tot quan la redacció es canvia lleugerament, és possible que aquestes preguntes fonamentals no s’entenguin correctament, il·lustrant que el model no ha millorat de veritat en la intel·ligència: les preguntes bàsiques però insolvables esmentades al començament de l’article representen un clar exemple d’aquest fenomen.

Conclusió

No obstant això, més enllà de la força bruta, si Grok3 aconsegueix revelar a la indústria que "els models pre-entrenats s'apropen al seu final", tindria implicacions importants per al camp.

Potser després que el frenesí que envolta Grok3 desaparegui gradualment, assistirem a més casos com l’exemple de Fei-Fei Li de “ajustar models d’alt rendiment en un conjunt de dades específic per només 50 dòlars”, descobrint finalment el veritable camí a AGI.