Полный текст
Брайан Мур запустил довольно едкий бенчмарк AI World Clocks, в котором девять ИИ разных поколений пытаются создать в HTML часы, показывающие правильное время.Задача оказалась не по зубам даже лучшим моделям. По условиям, каждую минуту нейросети должны генерировать новый, заметно отличающийся код. В некоторых случаях код попадал в задачу почти идеально, но ни одна модель не смогла создавать правильный циферблат стабильно каждую минуту.Однако тут есть важный нюанс. В бенчмарке используется очень простой, почти примитивный промпт. Моделям просто говорят: «сделай часы». Им не объясняют, как именно считать углы стрелок, где у CSS находится ноль градусов и как вообще проверить, что всё встало на свои места.Если добавить сюда ограничение по токенам, получается забавный итог: ИИ честно рисует красивый циферблат, но совершенно не обязан ни перепроверять математику, ни править собственные ошибки.