Microsoft у співпраці з OpenAI публікує дослідження нових загроз в епоху штучного інтелекту
Microsoft у співпраці з OpenAI публікує дослідження нових загроз в епоху штучного інтелекту
Microsoft у співпраці з OpenAI публікує дослідження нових загроз в епоху штучного інтелекту, приділяючи особливу увагу виявленим діям, пов'язаним із відомими суб'єктами загроз Forest Blizzard, Emerald Sleet, Crimson Sandstorm та іншими. Спостережувана діяльність включає швидкі ін'єкції, спроби зловживання великими мовними моделями (LLM) і шахрайство.
За останній рік швидкість, масштаб і складність атак зросли поряд із швидким розвитком та впровадженням штучного інтелекту. Захисники тільки починають усвідомлювати та застосовувати можливості генеративного штучного інтелекту, щоб змістити баланс кібербезпеки на свою користь та випереджати супротивників. У той же час, нам також важливо зрозуміти, як ІІ може потенційно використовуватися зловмисниками в руках зловмисників. Сьогодні у співпраці з OpenAI Microsoft публікує дослідження про загрози, що виникають в епоху штучного інтелекту, приділяючи особливу увагу виявленим діям, пов'язаним з відомими суб'єктами загроз, включаючи швидкі ін'єкції, спроби зловживання великими мовними моделями (LLM) і шахрайство. Microsoft аналіз поточного використання технології LLM суб'єктами загроз виявив поведінку, що відповідає використанню зловмисниками ІІ як ще один інструмент підвищення продуктивності у наступальному середовищі. Microsoft і OpenAI ще не спостерігали особливо нових або унікальних методів атак або зловживань з використанням ІІ, що виникають внаслідок використання ІІ зловмисниками. Однак Microsoft та наші партнери продовжують уважно вивчати цю ситуацію.
Метою партнерства Microsoft з OpenAI, включаючи публікацію цього дослідження, є забезпечення безпечного та відповідального використання технологій штучного інтелекту, таких як ChatGPT, при дотриманні найвищих стандартів етичного застосування для захисту спільноти від потенційного неправильного використання. В рамках цього зобов'язання ми вжили заходів щодо руйнування активів та облікових записів, пов'язаних із суб'єктами загроз, покращення захисту технології OpenAI LLM та користувачів від атак чи зловживань, а також формування захисних огорож та механізмів безпеки навколо наших моделей. Крім того, ми також глибоко віддані використанню генеративного штучного інтелекту для усунення зловмисників та використання можливостей нових інструментів, включаючи Microsoft Copilot for Security, для підвищення рівня захисту у всьому світі.
Принциповий підхід до виявлення та блокування зловмисників
Розвиток технологій породжує потребу у суворих заходах кібербезпеки та безпеки. Наприклад, указ Білого дому про штучний інтелект потребує ретельного тестування безпеки та державного нагляду за системами штучного інтелекту, які серйозно впливають на національну та економічну безпеку або громадське здоров'я та безпеку. Наші дії щодо посилення захисту наших моделей ІІ та партнерства з нашою екосистемою в галузі безпечного створення, впровадження та використання цих моделей відповідають вимогам Виконавчого указу про всеосяжні стандарти безпеки та захисту ІІ.
Відповідно до лідерства Microsoft у галузі штучного інтелекту та кібербезпеки, сьогодні Microsoft оголошує про принципи, що визначають політику Microsoft та дії щодо зниження ризиків, пов'язаних з використанням наших інструментів штучного інтелекту та API з боку національних просунутих постійних загроз (APT) та вдосконалених постійних маніпуляторів APM). та синдикати кіберзлочинців, які ми відстежуємо.
Ці принципи включають:
- Виявлення та дії проти використання зловмисниками: при виявленні використання будь-яких інтерфейсів прикладного програмування (API), служб або систем Microsoft AI виявленим зловмисником, включаючи національні APT або APM, або синдикати кіберзлочинності, які ми відстежуватимемо, Microsoft зробить відповідні дії, щоб порушити їх діяльність, наприклад, відключить облікові записи, припинить роботу служб або обмежить доступ до ресурсів.
- Повідомлення інших постачальників послуг ІІ. Коли ми виявляємо використання зловмисником ІІ, API-інтерфейсів, служб та/або систем іншого постачальника послуг, Microsoft негайно повідомить постачальника послуг та поділиться відповідними даними. Це дозволяє постачальнику послуг незалежно перевіряти наші висновки та вживати заходів відповідно до своєї власної політики.
- Співпраця з іншими заінтересованими сторонами. Microsoft співпрацюватиме з іншими зацікавленими сторонами для регулярного обміну інформацією про використання штучного інтелекту виявленими зловмисниками. Ця співпраця спрямована на сприяння колективним, послідовним та ефективним заходам реагування на ризики загальносистемні.
- Прозорість. В рамках наших постійних зусиль щодо просування відповідального використання ІІ Microsoft інформуватиме громадськість та зацікавлені сторони про дії, вжиті відповідно до цих принципів суб'єктів загроз, включаючи характер та масштаби використання ІІ суб'єктами загроз, виявлених у наших системах, та заходи. прийняті проти них, залежно від обставин.
Microsoft, як і раніше, віддана відповідальним інноваціям у галузі штучного інтелекту, приділяючи першочергову увагу безпеці та цілісності наших технологій з дотриманням прав людини та етичних стандартів. Ці принципи, оголошені сьогодні, засновані на методах відповідального ІІ Microsoft, наших добровільних зобов'язаннях щодо просування відповідальних інновацій в області ІІ та Кодексу поведінки Azure OpenAI. Ми дотримуємося цих принципів у рамках наших ширших зобов'язань щодо зміцнення міжнародного права та норм та просування цілей Декларації Блетчлі, схваленої 29 країнами.
Взаємодоповнюючі засоби захисту Microsoft та OpenAI захищають платформи штучного інтелекту
Оскільки партнерство Microsoft і OpenAI поширюється на безпеку, компанії можуть вживати заходів з появою відомих і нових зловмисників. Microsoft Threat Intelligence відслідковує понад 300 унікальних суб'єктів загроз, у тому числі 160 суб'єктів національних держав, 50 груп програм-вимагачів та багатьох інших. Ці зловмисники використовують різні цифрові ідентифікатори та інфраструктури атак. Експерти та автоматизовані системи Microsoft постійно аналізують та зіставляють ці атрибути, виявляючи спроби зловмисників ухилитися від виявлення або розширити свої можливості за рахунок використання нових технологій. Послідовно запобігаючи діям зловмисників за допомогою наших технологій та тісно співпрацюючи з партнерами, Microsoft продовжує вивчати використання зловмисниками ІІ та LLM, співпрацювати з OpenAI для моніторингу активності атак та застосовувати отримані знання для постійного покращення захисту. У цьому блозі представлений огляд дій, зібраних з інфраструктури відомих суб'єктів загроз, визначених Microsoft Threat Intelligence, а потім переданих OpenAI для виявлення потенційного зловмисного використання або зловживання їх платформою і захисту наших спільних клієнтів від майбутніх загроз або шкоди.
Визнаючи швидке зростання штучного інтелекту та постійне використання LLM у кіберопераціях, Microsoft продовжує працювати з MITRE над інтеграцією цих тактик, методів та процедур (TTP) на тему LLM у структуру MITRE ATT&CK® або MITRE ATLAS™ (Змагальний ландшафт загроз). систем штучного інтелекту). Це стратегічне розширення відображає прагнення не тільки відслідковувати і нейтралізувати загрози, а й стати піонером у розробці контрзаходів у ландшафті кібероперацій, що розвивається, з використанням штучного інтелекту. Повний список ДТЗ на тему LLM, до якого входять ті, які ми виявили в ході наших розслідувань, наведено у додатку.
Короткий виклад висновків Microsoft та OpenAI та інформації про загрози
Екосистема загроз за останні кілька років виявила постійну тенденцію, коли суб'єкти загроз стежать за тенденціями у технологіях паралельно зі своїми колегами-захисниками. Зловмисники, як і захисники, розглядають штучний інтелект, у тому числі LLM, щоб підвищити свою продуктивність та скористатися перевагами доступних платформ, які можуть сприяти досягненню їх цілей та методів атак. Групи кіберзлочинців, суб'єкти загроз на національному рівні та інші зловмисники вивчають та тестують різні технології штучного інтелекту в міру їх появи, намагаючись зрозуміти потенційну цінність їхніх операцій та заходи безпеки, які їм, можливо, доведеться обійти. З боку захисника життєво важливо посилити ті ж самі заходи безпеки від атак і запровадити такий же складний моніторинг, який передбачає і блокує шкідливу активність.
Хоча мотиви та складність різних суб'єктів загроз різняться, вони мають спільні завдання, які необхідно виконувати в ході націлювання та атак. До них відносяться розвідка, наприклад, вивчення галузей, місць розташування та взаємовідносин потенційних жертв; допомога з кодуванням, включаючи покращення таких речей, як програмні сценарії та розробка шкідливих програм; та допомога у вивченні та використанні рідних мов. Мовна підтримка є природною особливістю програм LLM і приваблива для суб'єктів загроз, що постійно зосереджуються на соціальній інженерії та інших методах, що покладаються на помилкові комунікації, що вводять в оману, адаптовані до роботи, професійних мереж та інших відносин їх жертв.
Важливо відзначити, що Microsoft дослідження з OpenAI не виявило серйозних атак із використанням LLM, які Microsoft уважно відстежує. У той же час Microsoft вважає, що це важливе дослідження, яке слід опублікувати, щоб виявити поступові кроки на ранній стадії, які, як Microsoft спостерігає, роблять відомі зловмисники, і поділитися інформацією про те, як Microsoft блокує їх та протидіє їм із спільнотою захисників.
Хоча зловмисники, як і раніше, цікавляться ІІ та перевірятимуть поточні можливості технологій та засоби контролю безпеки, важливо враховувати ці ризики в контексті. Як завжди, необхідні гігієнічні методи, такі як багатофакторна автентифікація (MFA) та захист з нульовою довірою, оскільки зловмисники можуть використовувати інструменти на основі штучного інтелекту для покращення існуючих кібератак, заснованих на соціальній інженерії та виявлення незахищених пристроїв та облікових записів.
