В эпоху стремительного прогресса технологий легко обмануться в возможностях ИИ-ассистентов. Однако, недавний эксперимент выявил их слабые стороны — задачи, которые, на первый взгляд, кажутся тривиальными, показывают разницу между статистическим анализом и настоящим пониманием. В тестировании принимали участие самые продвинутые языковые модели, такие как Gemini, ChatGPT, Claude и другие.
Проблема, стоящая перед ИИ
Задача, предложенная участникам, была ясной: написать JavaScript-скрипт, который будет заменять стандартные кавычки на типографские. Однако это должно было происходить в редактируемом блоке (contenteditable div) и без изменения HTML-тегов. К примеру, строка должна была остаться без изменений. Именно этот нюанс стал непреодолимым препятствием для всех моделей.
Неудачные попытки
Реакция моделей была однозначной: все они начали генерировать код на основе сложных регулярных выражений, что привело к поломке разметки. Как только внимание акцентировалось на этой ошибке, модели стали создавать ещё более запутанные регулярные выражения или пытаться разобраться с API, такими как TreeWalker или MutationObserver. Эти попытки оказались неудачными — код получался перегруженным или даже вовсе никуда не годным. Честность результатов и управление состоянием, такие как сохранение позиции курсора, оставались невыполнимыми задачами.
Постоянная случайность и иллюзия понимания
Любопытно, что одна из моделей, DeepSeek, когда-то выдала корректный код, но последующие запросы с тем же требованием приводили лишь к неудачам. Это свидетельствует о том, что нейросети не в состоянии воссоздать свои удачные результаты, а значит, реальное понимание структуры у них отсутствует. Более того, даже если предоставить модели уже функционирующий код для изучения, это не гарантирует, что она сможет создать аналогичное решение самостоятельно.
Иллюзия понимания технологий, которую демонстрируют нейросети, становится яснее, когда они пытаются использовать более сложные инструменты. Каждая неудача только подчеркивает разницу между знанием имени API и умением им эффективно воспользоваться в реальной разработке. Вместо точной работы с DOM-узлами, ИИ пытается устранить ошибки в своих изначальных подходах, действуя больше как статистический предсказатель, чем как инженер-архитектор.
