В октябре Apple выпустила нейросеть Ferret, которая работает с текстом и изображениями

В октябре исследователи Apple Inc. и Корнелльского университета незаметно выпустили мультимодальную модель большого языка с открытым исходным кодом под названием Ferret, которая, по сообщениям, использует части изображений в качестве запросов.

Информация о выпуске Ferret на GitHub в октябре прошла незамеченной, без каких-либо официальных объявлений. Однако с тех пор модель привлекла большое внимание исследователей в области искусственного интеллекта. Это вызвало заявления Барта Де Витта на X, управляющего некоммерческой организацией, занимающейся искусственным интеллектом с открытым исходным кодом в медицине.

Я как-то это пропустил. Apple присоединилась к сообществу искусственного интеллекта с открытым исходным кодом в октябре. Представление Ferret является свидетельством приверженности Apple к эффективным исследованиям в области искусственного интеллекта, укрепляющим ее позиции лидера в области мультимодального искусственного интеллекта. Так держать Apple.
PS: Я с нетерпением жду этого дня…

– Барт де Витте (Ник OpenMedFuture) 23 декабря 2023 г.

Ferret работает по принципу изучения определенной области изображения, определения элементов внутри нее, которые могут использоваться для ответа на запрос, идентификации этих элементов и обрамления их ограничивающей рамкой. Затем он может использовать идентифицированные элементы в ответе на запрос традиционным образом.

Открытая модель Ferret обладает способностью «ссылаться и обосновывать что угодно, где угодно и с любой степенью детализации», как отметил исследователь Apple AI Чжэ Ган.

Важность выпуска Ferret обосновывается исследователями искусственного интеллекта, которые указывают на необычную открытость компании Apple, отличную от ее обычной тенденции к скрытности. Однако такой подход с открытым исходным кодом может помочь Apple в конкуренции с другими компаниями Microsoft и Google в области искусственного интеллекта, учитывая их ограниченные ресурсы.

Тем не менее, такой шаг Apple также ставит перед компанией вопрос выбора между партнерством с облачным гипермасштабом или открытым сотрудничеством с сообществом разработчиков open-source, аналогично подходу Meta Platforms Inc.

Источник: siliconAngle.