Полный текст
Zip-бомбы против ИИ-краулеров: как владельцы сайтов воюют с ботамиAI-краулеры от OpenAI, Anthropic и других компаний создают огромную нагрузку на серверы, игнорируют robots.txt и съедают терабайты трафика, за который платят владельцы сайтов. Один из примеров — GPTBot, выкачавший 30 ТБ трафика за месяц с 600-мегабайтного сайта.В ответ на это веб-мастеры начали применять «партизанские» методы. Главное оружие в этой войне — zip-бомбы. Это небольшие архивы (например, 10 МБ), которые при распаковке разворачиваются до гигантских размеров (10 ГБ), истощая оперативную память в дата-центре краулера и вызывая его падение.Помимо этого, используются и другие тактики, вроде систем «proof-of-work», заставляющих краулер выполнять вычислительные задачи. Разберёмся в методах этой новой «холодной войны» в вебе и посмотрим на примеры кода для создания своих zip-бомб.