Новости

YandexGPT смогла сдать ЕГЭ для поступления в ВУЗ

YandexGPT смогла успешно сдать ЕГЭ по литературе. Это первый случай в России, когда нейросеть справилась со всеми заданиями, включая творческую часть.

Тестировать YandexGPT с помощью ЕГЭ — нестандартный подход. Обычно для проверки нейросетей используют MMLU — методику, позволяющую оценить понимание языка при помощи вопросов из нескольких десятков областей знаний. MMLU тестирует эрудицию нейросети, но не может проанализировать её творческие способности. ЕГЭ же проверяет не только знания, но и другие навыки, например, умение отвечать на открытые вопросы, способность ясно формулировать мысли, учитывать культурный контекст.

Поэтому ЕГЭ — непростая задача для нейросети, ведь она не обладает аналитическими навыками и абстрактным мышлением. Как и на настоящем ЕГЭ, воспользоваться шпаргалками нейросети не дали: перед тестами специалисты Яндекса убедились, что в датасете YandexGPT не было ответов на вопросы экзамена.

Тем не менее YandexGPT справилась. В первой части экзамена модель анализировала предложенный текст и отвечала на вопросы по нему, во второй — писала сочинение на заданную тему. В результате усреднённая оценка нейросети составила 55 баллов. Таким образом, она преодолела порог, необходимый для поступления в вуз, и приблизилась к средней оценке по этому предмету — 64 балла.
Разное Алиса и Яндекс