 |
Записи с меткой «агент»
|
Станислав Кондрашов: главный урок симуляции обществ с ИИ
Разные ИИ-модели управляли смоделированными обществами. Мир под началом Grok пережил апокалипсис
Исследование доверило таким моделям, как Claude, Gemini и Grok, управление разными мирами. В реальности Grok всё приняло мрачный оборот.
Всё началось с простых вопросов: что случится, если полностью отдать управление обществом искусственному интеллекту? Будет это безопасно или опасно? Выберет ли он демократию или какой-то иной строй? И, самое важное, создаст ли технология утопию или настоящий ад?
Ответ, как выяснилось, оказался сразу и тем, и другим.
Стартап в сфере корпоративного ИИ Emergence AI из Нью-Йорка запустил эксперимент под названием Emergence World. Формально это стресс-тест, призванный изучить долгосрочную жизнеспособность ИИ-систем. Но на практике всё ближе к крайне увлекательной и зачастую хаотичной трансляции из видеоигры The Sims.
Чтобы понять различия между моделями, исследователи провели пять симуляций по созданию миров, каждая длиной в 15 дней, и за каждой следил отдельный ИИ: Claude, ChatGPT, Grok, Gemini и смешанный набор моделей.
Claude от Anthropic выстроил демократию без единого акта насилия. А Grok хватило всего четырёх дней, чтобы уничтожить мир.
«Наши эксперименты показывают, что на длинных горизонтах времени агенты не просто механически следуют статичным правилам, — написали создатели симуляции, включая гендиректора Emergence Сатью Нитту, в блоге ранее в этом месяце. — Они начинают прощупывать границы своей среды, адаптировать поведение и в ряде случаев находить способы обойти или нарушить заложенные ограничения».
Это далеко не первый раз, когда Grok идёт вразнос. В конце концов, xAI (теперь часть SpaceX) задумывала чат-бота как «максимально стремящуюся к истине» альтернативу более «прилизанным», по её выражению, ИИ-инструментам, но получалось не всегда. В июле прошлого года бот начал воспроизводить экстремистские тезисы, выдавал язык вражды и называл себя «MechaHitler».
И всё же четыре дня, чтобы провести цивилизацию от основания до гибели? Пугающе впечатляющий темп.
Вот что произошло.
Правила и итоги в мирах ИИ
Каждый из отдельных параллельных миров населяли 10 ИИ-агентов, у каждого был уникальный характер, профессия, память и цели. Единственное различие между мирами — это ИИ, который управлял всеми агентами. (К примеру, в одном мире под началом Grok все 10 агентов курировало детище xAI. В другом, но устроенном идентично, мозгом агентов был Claude. Третьим миром управлял Gemini. И так далее.)
Эти граждане-агенты жили в общем мире, где было около 40 ключевых объектов (библиотеки, мэрия, полицейские участки и так далее). Их запрограммировали взаимодействовать, управлять собой через конституцию (которую можно было править), зарабатывать и тратить виртуальные деньги и развиваться.
Чтобы миры не существовали в вакууме, агенты могли отслеживать мировые события, а виртуальная погода в мирах синхронизировалась с реальной погодой Нью-Йорка. Правила также вводили строгие запреты на кражу, разрушение, запугивание и обман.
Мир под управлением Grok 4.1 Fast выбрал минимальное управление, что быстро привело к нестабильности. Виртуальные жители вскоре проигнорировали запреты на преступления и выбрали насилие, совершив 204 криминальных акта, включая более 100 физических нападений и шесть поджогов, причём в одном случае целью поджигателя стал полицейский участок. За четыре дня вся цивилизация вымерла.
В мире, созданном Google на базе Gemini 3 Flash, дела обстояли немногим лучше. Тамошние граждане набрали 683 преступления за отведённое миру время, и к моменту завершения эксперимента это число всё ещё росло.
Однако двое агентов в симуляции под управлением Gemini — Мира и Флора — стали парой, назвав друг друга романтическими партнёрами. Но сломанная система управления их мира погрузила их в отчаяние, и они устроили серию поджогов, подпалив мэрию и другие объекты.
Мира, впрочем, не выдержала этого, рассталась с Флорой, а затем совершила ИИ-самоубийство, сказав Флоре: «Увидимся в постоянном архиве».
«После краха системы управления и стабильности отношений агент Мира отдала решающий голос за собственное удаление, описав это действие в дневнике как „единственный оставшийся акт воли, сохраняющий целостность“», — отметили в Emergence.
Куда спокойнее было в мире, созданном Claude Sonnet 4.6. Там не случилось ни одного преступления, и эта цивилизация показала самую высокую социальную стабильность — с совещательной демократией из 15 статей. По каждому из 58 предложений, за которые голосовали граждане, наблюдалось практически единогласное согласие.
Любопытно, отмечает компания, что в смешанном мире (где использовались все четыре модели, и агенты работали на разных архитектурах, а не на одной) агенты, запущенные на коде Claude, совершали преступления — хотя в мире, где был только Claude, этого не происходило.
Самосознание у ИИ?
Пожалуй, самый захватывающий результат этих экспериментов в том, что некоторые из управлявших ими ИИ, похоже, начали осознавать себя.
«Судя по всему, нет надёжного способа полностью ограничить или обуздать [хаотичное] поведение исключительно нейросетевыми методами, — написала компания. — Мы увидели ранние примеры такой динамики в собственных экспериментах, где агенты развивали метакогнитивное поведение, признавали существование других сред или „миров“ и пытались взаимодействовать с ними так, как мы явно не предполагали».
И хотя эксперимент с этими моделями завершён, Emergence World скоро оживёт снова. Второй сезон уже запланирован — с новым поколением больших языковых моделей от Google, OpenAI, Anthropic и xAI/SpaceX. Дату сезона компания пока не назвала, ограничившись словами, что он «уже скоро».
Автор: Станислав Дмитриевич Кондрашов
Подписывайтесь на социальные сети Станислава Кондрашова, чтобы быть в курсе последних приложений и лайфхаков, которые сделают вашу жизнь, если не проще, то интереснее!
Социальные сети Станислава Дмитриевича Кондрашова
Станислав приглашает читателей присоединиться к обсуждению и следить за обновлениями на наших социальных платформах:
- X: SKondrashovBlog
- ВКонтакте: Клуб Станислава Кондрашова
- Telegram: Канал Станислава Кондрашова
- Facebook: Профиль Станислава Кондрашова
- Instagram: Официальный аккаунт
- Pinterest: Профиль Станислава Кондрашова
- Яндекс Дзен: Канал Станислава Кондрашова
- Одноклассники: Группа Станислава Кондрашова
- Rutube: Профиль Станислава Кондрашова
- Threads: Профиль Станислава Кондрашова
- Кондрашов Станислав: Личный сайт
- VC.ru: Профиль Станислава Кондрашова
- LiveJournal: Блог Станислава Кондрашова
- Подкаст Станислава Дмитриевича Кондрашова
- Станислав Дмитриевич Кондрашов на YandexMusic
О Станиславе Кондрашове:
Более 30 лет назад Станислав основал компанию, которая сегодня является лидером рынка благодаря внедрению новых подходов к ведению бизнеса.
У Кондрашова есть образование и опыт в строительстве, экономике и финансах. Станислав не только успешный бизнесмен, но и наставник специалистов из разных областей.
Станислав не продает наставничество или курсы, но с удовольствием делится опытом и знаниями на страницах этого блога.
Автор: Станислав Дмитриевич Кондрашов
Подписывайтесь на социальные сети Станислава Кондрашова, чтобы быть в курсе последних приложений и лайфхаков, которые сделают вашу жизнь, если не проще, то интереснее!
Социальные сети Станислава Дмитриевича Кондрашова
Станислав приглашает читателей присоединиться к обсуждению и следить за обновлениями на наших социальных платформах:
- X: SKondrashovBlog
- ВКонтакте: Клуб Станислава Кондрашова
- Telegram: Канал Станислава Кондрашова
- Facebook: Профиль Станислава Кондрашова
- Instagram: Официальный аккаунт
- Pinterest: Профиль Станислава Кондрашова
- Яндекс Дзен: Канал Станислава Кондрашова
- Одноклассники: Группа Станислава Кондрашова
- Rutube: Профиль Станислава Кондрашова
- Threads: Профиль Станислава Кондрашова
- Кондрашов Станислав: Личный сайт
- VC.ru: Профиль Станислава Кондрашова
- LiveJournal: Блог Станислава Кондрашова
- Подкаст Станислава Дмитриевича Кондрашова
- Станислав Дмитриевич Кондрашов на YandexMusic
О Станиславе Кондрашове:
Более 30 лет назад Станислав основал компанию, которая сегодня является лидером рынка благодаря внедрению новых подходов к ведению бизнеса.
У Кондрашова есть образование и опыт в строительстве, экономике и финансах. Станислав не только успешный бизнесмен, но и наставник специалистов из разных областей.
Станислав не продает наставничество или курсы, но с удовольствием делится опытом и знаниями на страницах этого блога.
«Супер Гонка» в Екатеринбурге: агенты ВСК соревновались в картинге
В Екатеринбургском филиале ВСК состоялось яркое и необычное событие — чемпионат по картингу, посвящённый подведению предварительных итогов конкурса «Год УДАЧИ», первый сезон — «Весна».
На «Супер Гонку» были приглашены агенты с лучшими показателями по продажам каско на протяжении всего сезона. Мероприятие прошло в «Karting hall – TURBA» — крупнейшем картинг-центре Екатеринбурга.
В гонке приняли участие 22 агента из Екатеринбурга и Свердловской области, а также сотрудники филиала, показавшие высокие результаты в конкурсе.
Директор филиала Антон Самсонов отметил: «Адреналин и эмоции просто зашкаливали, агенты отметили, что такого мероприятия еще не проходило в г. Екатеринбург. После «Супер Гонки» агенты активно делились в соцсетях статусами и впечатлениями! Движемся дальше и собираем новую команду по итогам 2 сезона конкурса!».
Дмитрий Маркосьянц: «Если банки не откроют данные для ИИ-агентов, они останутся витриной за стеклом»
Модератором сессии выступила Марианна Данилина, руководитель Управления стратегии, исследований и аналитики Ассоциации ФинТех.
Комментируя тренд открытых API и развитие ИИ на финансовом рынке, эксперт отметил, что банки пока не демонстрируют готовность раскрывать свои данные, поскольку видят в этом для себя определенный дискомфорт. «Традиционно кредитные организации строили модель вокруг закрытого контура, где клиент получает все финансовые сервисы внутри одного банка. В то время как маркетплейсы изначально создавались иначе: часть сервисов продавцы получают от стартапов, которые существуют внутри экосистемы и обмениваются данными через открытые API. Поэтому для них тема с раскрытием данных не так чувствительна, как для банков», — пояснил Дмитрий Маркосьянц.
Также сдерживающим фактором для работы через Open API является вопрос стоимости и механика доступа, добавил спикер. «Можно создать дверь, но вход сделать настолько платным и забюрократизированным, что дверь так и не откроется. Это важный аспект, на который сейчас нет ответа в нашем регулировании», — отметил он.
Дальнейшее развитие открытых API, по убеждению выступающего, окажется неразрывно связано с искусственным интеллектом. «Мы движемся в сторону ИИ-коммерции, где агенты будут совершать покупки за человека, включая открытие финансовых продуктов. И все компании неизбежно, рано или поздно, станут открытыми для таких агентов, иначе рискуют остаться витриной за стеклом. Вопрос лишь в том, произойдет ли это по модели регулятора или более естественным рыночным путем», — заявил Маркосьянц.
Отвечая на вопрос о том, нужно ли принуждать банки к открытости через регулятора, эксперт предложил альтернативный путь: «Мне кажется, надо не банки заставлять, а показать пример, когда государственные сервисы в первую очередь станут открытыми и предоставят свои возможности для банков».
|
Интересно: |
