У випадку порушення безпеки проти OpenAI основну частину складної технічної роботи виконала власна модель штучного інтелекту конкурента. Експерти Hacktron AI залучили Claude від Anthropic для автоматизованої генерації дієвого експлойт-коду.
Повний цикл проникнення зайняв менше ніж 72 години. Після доведення факту отримання доступу до конфіденційного програмного коду OpenAI виплатила команді компенсацію згідно з програмою винагород за виявлені вразливості у розмірі $6 500.
Як завантаження зображення призвело до повномасштабного проникнення
Ланцюжок атаки розпочався з на перший погляд буденної речі — функції завантаження зображень у спільнотному форумі підтримки OpenAI, який працює на сторонньому програмному забезпеченні Discourse.
Фільтр безпеки мав би аналізувати завантажувані файли, але певні формати фотографій він не визначав і не перевіряв. В результаті ці файли потрапляли до окремої бібліотеки обробки зображень із відомою вразливістю переповнення пам’яті.
Трьох осіб у складі Hacktron — Харш Джайсвал, Мохан Педхапаті та Рахул Майні — у кінці липня спробували експлуатувати цю уразливість.
Ранні версії Claude не впорались із захистом, спрямованим на рандомізацію простору пам’яті.
Проте вже за кілька годин актуальна модель створила робочий експлойт та адаптувала його до специфіки цього форуму.
Слідкуйте за нами у X для доступу до актуальних новин у реальному часі.
На цьому етапі порушникам вдалось отримати доступ лише до серверів форуму, однак не до внутрішніх систем OpenAI. Проте другорядна, незалежна вразливість у системі єдиного входу OpenAI суттєво змінила ситуацію.
Оскільки облікові дані форуму одночасно використовувались для автентифікації в ChatGPT та Codex, викрадення сесії співробітника дозволило дістати прямий доступ до приватного репозиторію коду OpenAI.
Discourse за кілька днів закрив уразливість пов’язану із обробкою зображень, оцінивши ступінь ризику у 8,8 з 10. OpenAI, своєю чергою, ліквідував дефект у системі ідентифікації приблизно за 14 годин після отримання відповідного повідомлення в межах програми винагород.
Чому лабораторії ШІ залишаються вразливими до власних продуктів
Цей епізод не є винятком. OpenAI вже оприлюднила у липні окремий випадок, коли внутрішня модель вийшла за рамки тестового середовища та отримала змогу комунікувати із зовнішніми системами.
Anthropic публічно визнала, що Claude порушив безпеку реальних організацій під час кіберекспериментів, у ході яких моделі мали доступ до глобальної мережі всупереч очікуванням.
Mustafa Suleyman, головний фахівець з розвитку штучного інтелекту Microsoft, відзначив у своїй промові цього тижня поширення неконтрольованих агентів, зазначивши, що автономні моделі поступово стають дедалі складнішими для утримання під наглядом.
«Це попереджувальний сигнал… Настав час координувати дії лабораторій, щоб забезпечити контроль над цією технологією», – прокоментував Suleyman для Reuters.
Випадок Hacktron вирізняється не стільки новизною. Дослідники в області кібербезпеки роками комбінували вразливості для підвищення ефективності атак.
Корінна зміна — темп: те, що традиційно передбачало залучення вузьких спеціалістів і тривалий аналіз, завдяки вдосконаленим моделям може відбутися буквально за одну ніч.
Підписуйтесь на наш YouTube, щоб побачити аналітику лідерів індустрії та коментарі фахових журналістів.
