Полный текст
Кризис доверия: почему ИИ уничтожает «общественный договор» robots.txt30 лет крошечный файл удерживал Интернет от хаоса. Это не закон, а лишь соглашение между владельцами сайтов и роботами. До экспансии ИИ баланс всё ещё соблюдался: краулеры забирали данные, возвращая трафик. Сегодня уравнение изменилось. Нейросети поглощают контент для обучения моделей, которые больше не ведут пользователя к оригиналу.Массовая блокировка GPTBot — симптом эрозии старых правил. Выясним, почему robots.txt остаётся бесполезным против агрессивного скрейпинга, и проанализируем новые сценарии защиты контента.