В октябре Apple выпустила нейросеть Ferret, которая работает с текстом и изображениями

В октябре исследователи Apple Inc. и Корнелльского университета незаметно выпустили мультимодальную модель большого языка с открытым исходным кодом под названием Ferret, которая, по сообщениям, использует части изображений в качестве запросов.

Информация о выпуске Ferret на GitHub в октябре прошла незамеченной, без каких-либо официальных объявлений. Однако с тех пор модель привлекла большое внимание исследователей в области искусственного интеллекта. Это вызвало заявления Барта Де Витта на X, управляющего некоммерческой организацией, занимающейся искусственным интеллектом с открытым исходным кодом в медицине.

Ferret работает по принципу изучения определенной области изображения, определения элементов внутри нее, которые могут использоваться для ответа на запрос, идентификации этих элементов и обрамления их ограничивающей рамкой. Затем он может использовать идентифицированные элементы в ответе на запрос традиционным образом.

Открытая модель Ferret обладает способностью «ссылаться и обосновывать что угодно, где угодно и с любой степенью детализации», как отметил исследователь Apple AI Чжэ Ган.

Важность выпуска Ferret обосновывается исследователями искусственного интеллекта, которые указывают на необычную открытость компании Apple, отличную от ее обычной тенденции к скрытности. Однако такой подход с открытым исходным кодом может помочь Apple в конкуренции с другими компаниями Microsoft и Google в области искусственного интеллекта, учитывая их ограниченные ресурсы.

Тем не менее, такой шаг Apple также ставит перед компанией вопрос выбора между партнерством с облачным гипермасштабом или открытым сотрудничеством с сообществом разработчиков open-source, аналогично подходу Meta Platforms Inc.

Источник: siliconAngle.