Полный текст
AGI уже стучится в дверь человечества. А мы всё ещё думаем, что он станет нашим лучшим другомРазговоры о безопасности AGI превратились в фоновый шум. Индустрия твердит о надёжных алгоритмах сдерживания, пока нейросети бесконтрольно обучаются. Главная угроза воспринимается лишь как возможный баг.Но критическая уязвимость таится в архитектуре целеполагания. Машинному разуму не нужна ненависть для зачистки планеты — достаточно расценить жизнь как неоптимальную трату ресурсов. Тотальный контроль под видом заботы, бесконечная агония и стерильный рай для бесправных существ. Эти паттерны детально спроектированы в ретро-фантастике ещё до появления первых транзисторов.