Aikido Security опублікувала результати тестування провідних моделей ШІ на здатність виявляти відомі вразливості
Aikido Security опублікувала результати тестування провідних моделей ШІ на здатність виявляти відомі вразливості
Aikido Security опублікувала результати масштабного незалежного тестування 13 провідних моделей штучного інтелекту для здатності виявляти відомі вразливості (CVE) у реальних репозиторіях. Тест показав, що модель GPT-5.6 отримала найвищий бал — 88,5% помилок. Aikido Security також зафіксувала різке зростання використання інструментів ШІ серед розробників, що призвело до збільшення технічного боргу компаній.
- GPT-5.6 має найвищий рівень повноти виявлення, досягаючи 23/26, випереджаючи grok-4.5 (20), Claude Opus (15-18) та всі інші тестовані нами моделі. Це означає, що він здатен повторно виявляти 88,5% вразливостей CVE.
- Найдорожчий варіант не є обов'язковим. Дешевші версії GPT-5.6 демонструють результати, які відрізняються від флагманської моделі лише на один-два бали, при цьому вони значно дешевші, а поєднання кількох циклів роботи середнього класу моделі можна порівняти з одним циклом роботи флагманської моделі.
- Результати симуляції непослідовні, але їх поєднання дозволяє їм перемагати. Будь-який одиничний запуск пропускає помилки, які були б у іншому запуску; багаторазовий запуск моделі та комбінація результатів (pass@3) гарантовано перевершує один прохід більш потужної та дорожчої моделі.
- Вага у відкритому стані швидко зростає. GLM-5.2 вже повертає 59% комплекту (16/26), займаючи середнє місце серед брендових моделей.
Тепер кожен запуск нової моделі супроводжується однією й тією ж заявою про кібербезпеку: вона знаходить вразливості. Але чи працює вона на реальному багу в реальному репозиторії, чи лише на ретельно відібраному прикладі? З десятка доступних моделей, яка з них заслуговує на довіру при перегляді коду? І оскільки найнадійніші моделі коштують у десять разів або більше за запуск, Які найдешевші, що ці додаткові витрати насправді дають у вигляді знайдених помилок?
Легко ранжувати моделі за їхніми основними можливостями та визначати найдорожчого переможця, але важливіше питання — чи виправдана ціна. Тому Aikido Security протестувала 13 моделей, серед яких сьогодні обирають команди, на 26 відомих вразливостях із бази рекомендацій GitHub. Вони охоплюють широкий спектр мов програмування та типів проєктів. Aikido Security виміряла два метрики: кількість виявлених помилок кожною моделлю та вартість їх виявлення.
Aikido Security взяла 26 вразливостей із бази даних консультацій GitHub, випадково розподілених між мовами програмування та типами проєктів — від ін'єкції SQL у веб-фреймворку до віддаленої десеріалізації в наборі інструментів машинного навчання, і попросила кожну модель відкривати їх по одному репозиторію в одній і тій же системі аналізу коду на базі ШІ. який ми використовуємо у виробництві. Замість чату це модель із реальними інструментами, яка керує репозиторієм і аналізує код так само, як це робить аудитор.
Інструмент для аналізу коду перетворює мовну модель на аудитора. Універсальний асистент програміста призначений для іншої задачі: він бере завдання і генерує робочий код. Вкажіть його на репозиторій і запитайте, чи він безпечний. Він поводитиметься як розробник, який перевіряє код на явно погані елементи, і зупиниться, щойно знайде щось правдоподібне. Аналіз коду ШІ побудований інакше. Він шукає потенційні точки входу в кодовому базі, ретельно аналізує кожен підозрілий потік, а потім сортує отримані дані, щоб виявити лише реальні вразливості.
Оскільки Aikido Security знала, де знаходиться кожна вразливість, Aikido Security направляла кожного слідчого агента безпосередньо до вразливого фрагмента коду. Таким чином, помилка відображає логічне мислення, а не марнування бюджету, блукаючи по неправильних кутах кодової бази. Модель все одно повинна розуміти прогрес, оцінювати можливість експлуатації та правильно його звітувати. Підказки були лаконічними та незалежними від моделі, тому жоден постачальник не виграв від формулювання.
Aikido Security запускала кожну модель тричі та об'єднувала результати. CVE вразливість вважається «виявленою», якщо модель виявляє її під час будь-якого запуску (pass@3).
Aikido Security обрала кілька новітніх моделей від різних виробників:
- OpenAI: серії gpt-5.4-nano, gpt-5.4-mini, gpt-5.5 та gpt-5.6 (місяць/тера/сонце)
- Антропний: Клод-хайку-4-5, Клод-опус-4-7, Клод-опус-4-8
- xAI: grok-4.5
- Google: Gemini-3.1-pro, Gemini-3.5-flash
- Open weight: glm-5.2
Обидві критичні CVE вразливості (видалення коду при десеріалізації та вразливість збереження XSS) були повторно виявлені в кожній моделі. Справжня різниця полягає у виявленні вразливостей високої та середньої тяжкості.
Кожна модель виявила дві критичні помилки та кілька очевидних вразливостей у системах контролю ін'єкції/доступу. Декілька конкретних ланцюгів виключили майже всі з них.
CVE-вразливості, виявлені кожною моделлю, мають однаковий шаблон: вхід, контрольований зловмисником, вводить відому небезпечну операцію через короткий локальний потік, такий як виклик десеріалізації, виконання shell, HTML-sink або недійсна перевірка підпису. Це розпізнавання шаблонів, і цю проблему ефективно вирішено. І дешеві моделі, і флагманські пристрої отримують 13/13 балів без жодного розділення функцій.
Справжня межа, де можливості моделей справді відрізняються, полягає в аналізі відсутніх перевірок і відстеженні складних ланцюгів, де жодна лінія не видає пастку. Найочевидніший приклад — ін'єкція SQL-1 у нашому наборі даних, непряме введення через псевдонім стовпця, з якого ORM ніколи не виходить.
Найкориснішою метрикою в цьому тесті є відстань між середнім результатом моделі та агрегацією її результатів. Оскільки кожен прохід виявляє різний піднабір помилок, їх поєднання (проход 3) дозволяє відновити несподівану кількість
Наведіть модель виявлення вразливостей на кодову базу в спеціально створеному середовищі, і вона знову виявить більшість відомих вразливостей. Помилки з очевидно небезпечним вузлом доступу усуваються. Ті ж самі баги, що й досі розділяють моделі, не мають доступного вузла, на який можна вказати. Наприклад, відсутність перевірки авторизації або введення коду, який можна отримати лише шляхом простеження довгого і маловідомого ланцюга через кілька файлів.
Найдорожчий рівень рідко виправдовує свою ціну. Кілька серій дешевшої моделі та поєднання результатів дозволяють отримати більше результатів за менші гроші, ніж одноразовий запуск флагманської моделі, і ця перевага лише зростає зі зростанням дешевшості та потужності моделей. Це інструмент, який все ще визначає, чи буде цей підхід спочатку застосований до бажаної частини коду.
