Современные модели искусственного интеллекта (ИИ) далеки от того, что может сделать опытный программист-разработчик, заявили в Microsoft Research на основании исследования работы нового инструмента под названием debug-gym, созданного для тестирования и улучшения моделей ИИ, способных отлаживать программное обеспечение, 12 апреля сообщает портал arstechnica.com.

«Это не первый случай, когда мы видим результаты, указывающие на то, что некоторые амбициозные идеи о том, что ИИ-агенты напрямую заменят разработчиков, далеки от реальности», — говорится в сообщении.

Сообщается о множестве проведенных исследований, которые показали, что ИИ иногда может создать приложение, которое кажется приемлемым для пользователя в рамках узкой задачи, но модели, как правило, создают код, полный ошибок и уязвимостей, и, как правило, не способны устранять эти проблемы.

Debug-gym — это среда, которая позволяет моделям ИИ пытаться отлаживать любой существующий репозиторий кода с доступом к инструментам отладки. При этом ее работа основана на изучении контекста соответствующей кодовой базы, выполнении программы и документации, а не на догадках, основанных на ранее просмотренных обучающих данных.

Несмотря на новый подход, который позволяет ИИ лучше справляется с поставленной задачей, чем классические языковые модели, инструмент всё равно далек от того, что может сделать опытный разработчик-человек.