YandexGPT смогла сдать ЕГЭ для поступления в ВУЗ
YandexGPT смогла успешно сдать ЕГЭ по литературе. Это первый случай в России, когда нейросеть справилась со всеми заданиями, включая творческую часть.
Тестировать YandexGPT с помощью ЕГЭ — нестандартный подход. Обычно для проверки нейросетей используют MMLU — методику, позволяющую оценить понимание языка при помощи вопросов из нескольких десятков областей знаний. MMLU тестирует эрудицию нейросети, но не может проанализировать её творческие способности. ЕГЭ же проверяет не только знания, но и другие навыки, например, умение отвечать на открытые вопросы, способность ясно формулировать мысли, учитывать культурный контекст.
Поэтому ЕГЭ — непростая задача для нейросети, ведь она не обладает аналитическими навыками и абстрактным мышлением. Как и на настоящем ЕГЭ, воспользоваться шпаргалками нейросети не дали: перед тестами специалисты Яндекса убедились, что в датасете YandexGPT не было ответов на вопросы экзамена.
Тем не менее YandexGPT справилась. В первой части экзамена модель анализировала предложенный текст и отвечала на вопросы по нему, во второй — писала сочинение на заданную тему. В результате усреднённая оценка нейросети составила 55 баллов. Таким образом, она преодолела порог, необходимый для поступления в вуз, и приблизилась к средней оценке по этому предмету — 64 балла.
Тестировать YandexGPT с помощью ЕГЭ — нестандартный подход. Обычно для проверки нейросетей используют MMLU — методику, позволяющую оценить понимание языка при помощи вопросов из нескольких десятков областей знаний. MMLU тестирует эрудицию нейросети, но не может проанализировать её творческие способности. ЕГЭ же проверяет не только знания, но и другие навыки, например, умение отвечать на открытые вопросы, способность ясно формулировать мысли, учитывать культурный контекст.
Поэтому ЕГЭ — непростая задача для нейросети, ведь она не обладает аналитическими навыками и абстрактным мышлением. Как и на настоящем ЕГЭ, воспользоваться шпаргалками нейросети не дали: перед тестами специалисты Яндекса убедились, что в датасете YandexGPT не было ответов на вопросы экзамена.
Тем не менее YandexGPT справилась. В первой части экзамена модель анализировала предложенный текст и отвечала на вопросы по нему, во второй — писала сочинение на заданную тему. В результате усреднённая оценка нейросети составила 55 баллов. Таким образом, она преодолела порог, необходимый для поступления в вуз, и приблизилась к средней оценке по этому предмету — 64 балла.
Источник: ТЕХНО: Яндекс про технологии.
Умный дом управляемый с вашего iPhone или Android-телефона. Магазин умных аксессуаров. Заказ установки устройств в своём интерьере. Новости о том, что происходит в сфере умного дома.
° Apple, Apple Home, HomeKit, AirPlay, CarPlay, iPhone, iPad, Mac, iMac, Mac Mini, MacBook, Apple Watch, Apple TV, HomePod, Vision Pro, iOS, iPadOS, MacOS, watchOS, visionOS являются зарегистрированными товарными знаками компании Apple.
° Яндекс и Алиса являются товарными знаками компании Яндекс.
° Matter — проприетарный стандарт домашней автоматизации, не требущий авторских отчислений.
Принимаем:
Аккредитация:
Продолжая использовать наш сайт,
вы даете согласие на обработку файлов Cookies
и других пользовательских данных,
в соответствии с Политикой конфиденциальности.
Копирование материалов сайта
разрешено исключительно
с использованием ссылки на источник.
вы даете согласие на обработку файлов Cookies
и других пользовательских данных,
в соответствии с Политикой конфиденциальности.
Копирование материалов сайта
разрешено исключительно
с использованием ссылки на источник.
Есть предложения или нашли неточность?
Напишите нам:
Напишите нам:
