В современном мире, где искусственный интеллект стал неотъемлемой частью нашей жизни, кажется, что он способен на всё. Однако результаты последнего стресс-теста поставили под сомнение эту уверенность. Исследование выявило одну простую, но коварную задачу, которая продемонстрировала недостатки современных языковых моделей, таких как Gemini, ChatGPT и Claude.
Что было предложено?
Задача заключалась в создании JavaScript-скрипта, который заменял бы стандартные кавычки ("), используемые в текстах, на типографские (« и ») в режиме реального времени. Однако главной сложностью являлось требование не затрагивать HTML-теги и их атрибуты. Это тонкость стала настоящим испытанием для многих ИИ-систем.
Первоначальная реакция моделей
На первых порах все языковые модели продемонстрировали схожий подход, основываясь на регулярных выражениях и использовании свойства innerHTML. Однако этот метод немедленно разрушал структуру документа, изменяя кавычки в тегах. Как только на это указали, ИИ начали генерировать ещё более сложные регулярные выражения, которые, тем не менее, не могли решить поставленную задачу.
Некоторые модели пытались использовать более продвинутые инструменты, такие как TreeWalker или MutationObserver, но их попытки были неуспешными. Код становился чересчур сложным, включал логические ошибки и неправильно обрабатывал позиции курсора. Это показало, что, несмотря на осведомлённость о необходимых API, языковые модели не способны их использовать должным образом.
Неудачи и ошибки в подходах
Интересный случай произошёл с моделью DeepSeek, которая изначально смогла создать рабочий код. Однако, когда её попросили произвести аналогичный результат с немного изменённым запросом, успеха не было. Это говорит о том, что нейросети могут полагаться на удачу, но не способны воспроизводить её в дальнейшем.
Таким образом, наблюдается явное несоответствие между знанием о существующих инструментах и умением их применять на практике. Такая ситуация вызывает вопросы о реальных возможностях ИИ в отношении творчества и самостоятельного мышления.
