Отныне искусственный интеллект в GPT заменит кандидатов наук. Что произошло?
Учитывая, что они достаточно осторожны с названиями (с марта 2023 года они не добавили даже 4.1. к названию GPT, хотя сделали много заметных апгрейдов), это уже интересно.
Еще интереснее, насколько эта модель становится умнее, согласно их техническому блогу.
Во-первых, они пишут, что модель превосходит уровень кандидатов наук (PhD) в решении задач по физике, химии, биологии. Вдумайтесь в это. Это модель, которая становится доступной с сегодняшнего дня (хотя я так думаю, технически не всем даже платным пользователям, как правило, практически доступ предоставляют в течение недель). Сентябрь 2024 года. Уровень PhD. Даже лучше.
Во-вторых, в экзамене на отбор на Международную Математическую Олимпиаду GPT4о (текущая лучшая модель) правильно решает 13% задач. GPTо1 – новая модель – решает 83% задач. Вдумайтесь в эту разницу. Скоро эта метрика станет нерелевантной. Нужно будет придумать более сложные задачи, чтобы понимать, становятся ли модели лучше.
В-третьих, в соревновательных задачах по программированию GPT4о решает правильно 11% задач, GPTо1 – 89% задач.
Модель выглядит так, что не является существенно большей, чем GPT4, 4о, но ее натренировали решать задачи иначе. "Думать" дольше, строить "цепочку мыслей", пробовать разные варианты, оценивать их, исправлять свои ошибки – и уже тогда выдавать "отрефлексированный" вариант решения.
Для простых вопросов она скорее всего будет слишком медленной и "умной". Но для сложных выглядит как gamechanger.