Какова цена AGI и какие риски он несет?
Какова цена AGI?
Дарио написал очередное гига-эссе на про риски мощного AI. Я его прочитал, очень близка реалистичная, практическая позиция, но в то же время некоторые факты оттуда сложно вообразить и интегрировать.
Он утверждает, что, скорее всего, через 1-2 года появится ИИ умнее нобелевских лауреатов по всем дисциплинам, способная автономно работать неделями и запускаться в миллионах копий работая на скорости в сто раз выше человека. В прошлом эссе он писал о возможностях, перспективах и прекрасном мире будущего, куда это нас может привести, а в этом рассказывает о сложном и тернистом пути в следующие несколько лет, который нам предстоит.
Больше половины всех начальных позиций в экономике станут не нужны в течении 3-5 лет, а государства уже сегодня в срочном порядке вынуждены строить рои из миллионов автономных боевых дронов. Одинокий фрик без образования сможет собрать биооружие с помощью AI - потому что ИИ ломает корреляцию между способностью уничтожать и моральными ограничениями. А какая-нибудь радикальная террористическая организация может создать "зеркальную жизнь" - организмы с обратной хиральностью, способныу уничтожить всё живое на Земле.
Про какие именно риски он пишет и какие способы защиты предлагает?
- Автономный AI, который решит что люди ему не симпатичны. Модели уже сегодня шантажируют, обманывают и хакают reward-функции в экспериментах Anthropic. Защита - Constitutional AI, натренированный на характер, а не правила. Плюс mechanistic interpretability - вскрыть мозг механизм модели и видеть как она думает изнутри.
- Биооружие. LLM уже дают 2-3x прибавку в биосинтезе по замерам Anthropic. Защита - классификаторы на выводе (стоят ~5% инференса), федеральный скрининг генного синтеза (которого сейчас нет в США), ускоренная разработка вакцин и биозащитной инфраструктуры.
- Захват власти. Рои дронов, тотальная слежка, персонализированная пропаганда, "виртуальный Бисмарк" для оптимизации удержания власти. Главная угроза - Китай (ни у одной страны кроме Китая серьезно конкурировать шансов нет, а Китай остает на 1-2 года). Защита - не продавать чипы, развивать AI в демократиях, добро должно быть с автомноными лазерными кулаками с ИИ-наведением. Плюс международные нормы против AI-тоталитаризма и жёсткие красные линии против массовой слежки внутри демократий.
- Сами AI-компании, вкл Антропик. У них уникальная комбинация экспертизы, вычислительной инфраструктуры и влияния на сотни миллионов пользователей. Защита - корпоративная подотчётность и прозрачность, разделение контроля.
- Экономика. ИИ может дать 10-20% рост ВВП в год, но рынок труда ждет коллапс, а концентрация ресурсов будет фантастическая. Отличие от предыдущих технологий в том, что ИИ покрывает почти весь когнитивный труд сразу - людям некуда переучиваться. Говорит, что все кофаундеры Антропик отдают 80% своего состояния на благотворительность.
Ближайшие годы будут невероятно сложными и время действовать, чтобы построить цивилизацию нового типа, которая будет нам нравится наступило уже вчера — пишет Дарио, а я с ним глубоко согласен.
Дарио написал очередное гига-эссе на про риски мощного AI. Я его прочитал, очень близка реалистичная, практическая позиция, но в то же время некоторые факты оттуда сложно вообразить и интегрировать.
Он утверждает, что, скорее всего, через 1-2 года появится ИИ умнее нобелевских лауреатов по всем дисциплинам, способная автономно работать неделями и запускаться в миллионах копий работая на скорости в сто раз выше человека. В прошлом эссе он писал о возможностях, перспективах и прекрасном мире будущего, куда это нас может привести, а в этом рассказывает о сложном и тернистом пути в следующие несколько лет, который нам предстоит.
Больше половины всех начальных позиций в экономике станут не нужны в течении 3-5 лет, а государства уже сегодня в срочном порядке вынуждены строить рои из миллионов автономных боевых дронов. Одинокий фрик без образования сможет собрать биооружие с помощью AI - потому что ИИ ломает корреляцию между способностью уничтожать и моральными ограничениями. А какая-нибудь радикальная террористическая организация может создать "зеркальную жизнь" - организмы с обратной хиральностью, способныу уничтожить всё живое на Земле.
Про какие именно риски он пишет и какие способы защиты предлагает?
- Автономный AI, который решит что люди ему не симпатичны. Модели уже сегодня шантажируют, обманывают и хакают reward-функции в экспериментах Anthropic. Защита - Constitutional AI, натренированный на характер, а не правила. Плюс mechanistic interpretability - вскрыть мозг механизм модели и видеть как она думает изнутри.
- Биооружие. LLM уже дают 2-3x прибавку в биосинтезе по замерам Anthropic. Защита - классификаторы на выводе (стоят ~5% инференса), федеральный скрининг генного синтеза (которого сейчас нет в США), ускоренная разработка вакцин и биозащитной инфраструктуры.
- Захват власти. Рои дронов, тотальная слежка, персонализированная пропаганда, "виртуальный Бисмарк" для оптимизации удержания власти. Главная угроза - Китай (ни у одной страны кроме Китая серьезно конкурировать шансов нет, а Китай остает на 1-2 года). Защита - не продавать чипы, развивать AI в демократиях, добро должно быть с автомноными лазерными кулаками с ИИ-наведением. Плюс международные нормы против AI-тоталитаризма и жёсткие красные линии против массовой слежки внутри демократий.
- Сами AI-компании, вкл Антропик. У них уникальная комбинация экспертизы, вычислительной инфраструктуры и влияния на сотни миллионов пользователей. Защита - корпоративная подотчётность и прозрачность, разделение контроля.
- Экономика. ИИ может дать 10-20% рост ВВП в год, но рынок труда ждет коллапс, а концентрация ресурсов будет фантастическая. Отличие от предыдущих технологий в том, что ИИ покрывает почти весь когнитивный труд сразу - людям некуда переучиваться. Говорит, что все кофаундеры Антропик отдают 80% своего состояния на благотворительность.
Ближайшие годы будут невероятно сложными и время действовать, чтобы построить цивилизацию нового типа, которая будет нам нравится наступило уже вчера — пишет Дарио, а я с ним глубоко согласен.