OpenAI o3 and o3-mini—12 Days of OpenAI: Day 12 - Pokonanie benchmarku ARC-AGI - krok milowy.

Warto też dodać, że o3 osiąga gigantyczny wręcz skok w jednym z najtrudniejszych (jeśli nie najtrudniejszym) benchmarku matematycznym. Benchmark ten zawiera prywatny zbiór zadań (przygotowane specjalnie dla niego i nie opublikowane = brak możliwości "nauczenia" się modelu odpowiedzi) które według twórców są na tyle skomplikowane, że ekspertom z danej dziedziny rozwiązanie jednego jednego zadania może zabrać kilka godzin pracy, a nawet więcej.

Dla chętnych wpis na blogu ARC-AGI:

https://arcprize.org/blog/oai-o3-pub-breakthrough

Ważny fragment:

Passing ARC-AGI does not equate to achieving AGI, and, as a matter of fact, I don't think o3 is AGI yet. o3 still fails on some very easy tasks, indicating fundamental differences with human intelligence.

Furthermore, early data points suggest that the upcoming ARC-AGI-2 benchmark will still pose a significant challenge to o3, potentially reducing its score to under 30% even at high compute (while a smart human would still be able to score over 95% with no training).

Przykład pytania, z którym o3 nie poradził sobie nawet mimo "przepalenia" mocy obliczeniowej wartej kilka tysięcy dolarów.

https://x.com/fchollet/status/1870172872641261979

@NrmvY Zawsze w takich kwestiach zastanawia mnie, ile mocy obliczeniowej potrzeba do takich rezultatów? Oraz ile mocy/roboczogodzin potrzeba by dalej taki model rozwijać.

Ciekawe, czy za jakiś czas te modele nie zaczną być używane do rozwiązywanie najtrudniejszych pytań w naukach ścisłych, żyjemy w niesamowitych czasach, świat może się bardzo zmienić przez kolejne 20-30 lat.