OKR для ИИ

e/acc2 min read26 comments
OKR для ИИ

агенты в бизнесе страдают от тех же проблем, что и люди.

корпорации десятилетиями занимались одной задачей: превращать непредсказуемых, хаотичных людей в предсказуемые бизнес-результаты.

весь менеджерский стек существует ради этого. OKR, стендапы, performance review, регламенты, шаблоны отчетов, цепочки согласований, оргструктуры — все это костыли вокруг стохастических систем (людей), чтобы получать стабильный результат. бесполезная, очень нудная, безрезультатная работа по постоянному затыканию дыр, но без которой любая компания превращается в стадо.

у ИИ агентов ровно та же проблема — LLM по природе стохастичны. чтобы это починить, мы добавляем оркестрацию, валидацию, self-verification, гардрейлы, шаблоны, структурированный JSON на выходе. мы строим костыли вокруг стохастической системы, чтобы сделать ее предсказуемой.

параллель почти 1:1:
- OKR = определение целей агента
- стендапы = статус-чеки и чекпоинты
- регламенты = промпт-шаблоны и runbooks
- peer review = self-verification и кросс-валидация между агентами
- оргструктура = граф оркестрации
- performance review = evaluation бенчмарки

решения, однако, будут сильно отличаться. людям нужна мотивация, контекст, культура. агентам — детерминированная валидация, retry logic, структурированная память. failure modes тоже разные: люди срезают углы, агенты галлюцинируют. люди устают и теряют фокус, агенты не устают, но теряют контекст из-за лимитов context window.

если вы строите агентные системы — изучайте как организации управляют людьми. менеджмент как наука это недооцененный набор практик для оркестрации агентов. агенты точно не люди, но "сделать выпас котов предсказуемыми" — это задача с десятилетиями наработанных паттернов.

💬Discussion (26)

Станислав Федосеев@Kettarian_Fox
Кайфовая перспектива, благодарю!
DMI3@T_DMI3
что посоветуешь изучить для понимания менеджмента?
Roman_GА@another_round_drunk
В тексте явно намёк на книгу "Как пасти котов. Наставление для программистов, руководящих другими программистами"
Anonymous
Книгу не читал, но идея да
Artyom Kireev@ArtemPlayback
А я наоборот все больше задумываюсь, что паттерны менеджмента, к которым мы привыкли в человеческих компаниях, будет неэффективны для агентских систем в будущем. Меня натолкнула на эту мысль недавняя статья Anthropic, где у них тысяча агентов работали над созданием браузера (если не ошибаюсь). Так вот там они пробовали способы, где агентские сети имеют отдельных агентов-менеджеров, но отказались от них, потому что те становятся боттлнеками. По итогу они пришли к структуре, где агенты просыпаются - видят на каком этапе работа - делают свою часть - засыпают и передают следующему агенту. И так до тех пор, пока нельзя сказать, что работа сделана.

Да, такая система не подойдет под любой вид работы, но она показывает, что в целом агенты могут работать по другой логике. Что если текущая структура компаний нам нужна только из-за тех багов, что есть в людях: эго, понимают только в 1 домене и работают только в +- на одних профессиях, неорганизованны и тд.

Что если агентам не нужны менеджеры, на самом деле, потому что они смогут договариваться лучше, чем люди и без внешнего надзора?
Slava Smirnov@slavasmirnov
Забавно. Я ровно наоборот ту же статью прочитал)
Andrei Kopylov@am_kopylov
Менеджеры нужны в основном для того, чтобы контролировать жульничество подчиненных (нарушение общих правил в личных интересах). Агентам в текущем виде это не грозит, соответственно и не нужны менеджеры
Владимир Лунёв@vladimirlunjov
Во-первых, агенты могут начать жульничать (об этом есть в статье команды DeepMind про умное делегирование. Во-вторых, интересно узнать на основе какого управленческого опыта вы так считаете?
Anonymous
я думаю что жульничество это вполне реальная угроза от агентов.

но это не главная цель менеджмента и ops.
Andrei Kopylov@am_kopylov
Поясню как я пришел к предыдущему упрощению.

Одна из основных причин массового нераспространения «бирюзового» управления в том, что в теории люди в такой компании должны массово осуждать отступление друг друга от правил, а на практике люди более лояльны по отношению к равным себе, чем требуется.

Для всех остальных задач менеджмента есть заменяющие механизмы, но вот эту лояльность к нарушениям друг друга пока не победили)

Агенту же можно прописать полмпты, чтобы он строго контролировал соседних агентов?)
Anonymous
Не уверен про заменяющие механизмы. Трекать перформанс сложно. И да, существующие способы не очень работают, но пока не будет агентов это так и останется неэффективным.
Andrei Kopylov@am_kopylov
В качестве примера ищу где видел механизм для точного определения вклада каждого работника в проект на основе теории игр.

Суть примерно была такая, что создаётся 2 фонда премиальный и призовой.

Далее все сотрудники по одиночке заполняют анкету - кто на их взгляд какой вклад внес (распределение).

Далее это все усредняется.

И далее во втором раунде анкеты каждому нужно угадать усредненное распределение и тогда он получает какие-то бонусы. После чего вклады пересчитываются и получаем реальное распределение.

Там есть точные условия и соотношения фондов и бонусов.

В итоге получается, что никому не выгодно врать и завышать или занижать чей-либо вклад. На выходе честно получаем достоверно кто какой вклад внес без централизованного оценщика в виде менеджера. И такое распределение всех устраивает.

Кто напомнит, как называется алгоритм?
Andrei Kopylov@am_kopylov
Robust Bayesian Truth Serum (Bayes-Nash equi-librium for all agents)

Адаптируйте, пользуйтесь для любой валидации чего угодно и когда угодно без начальников. Статей научных полно на эту тему)
Владимир Лунёв@vladimirlunjov
Слушайте, бирюзовое управление это мечты людей, которые либо ответственные на 146%, либо (что чаще бывает) живут в иллюзорном мире, где «все всё понимают» 😂 И любой человек с опытом управления на уровне ответственности за P&L никогда к пойдёт в бирюзу, а будет строить расово правильное управление с целями, описанием задач, ответственными и т.п. И регулярным контролем
Агенту можно поставить задачу, но важный вопрос, кто подготовит валидационные критерии и будет контролировать на старте? Без наличия эксперта, результат будет как у чувака, который попросил chatgpt заменить соль и пил бромид натрия ))
Andrei Kopylov@am_kopylov
Ну, бирюзовых моделей много, есть хорошая статья Гэри Хэмела «Сначала увольте начальников». Там разработаны механизмы перехода и механизмы валидации и все прочее. И описан портрет людей, которых стоит нанимать. Про коллективную валидацию без начальников вообще в принципе много разработано механизмов на основе теории игр (дизайна механизмов).

Все вроде бы ничего, но при адаптации и применении этой модели в российском менталитете столкнулись с вышеуказанными проблемами, что люди недостаточно осуждают нарушения других и потом сами становятся нарушителями)
Владимир Лунёв@vladimirlunjov
Скажите, вы очень сами какого уровня управляли? Сколько «под вами» было уровней и людей?
Не работает бирюза в России, так же как и Agile, как только мы приходим к необходимости личной ответственности, большинство людей сливаются, считая, что бирюза это про права без ответственности. Поэтому сначала исполнительность, а потом уже всякая светотень.
Andrei Kopylov@am_kopylov
Я вообще не менеджер, увольте этим заниматься ) а про то, что не работает, абсолютно согласен. Просто мы с вами видим разные причины почему не работает. Я предполагаю, что есть 15% людей, которые и исполнительные и ответственные и которым подходит такой формат, но с ними проблема в другом)

А если посмотреть на Точку, Вскуссвилл, то может сложиться впечатление (как у меня сложилось), что там классические принципы менеджмента замаскированны под бирюзу)
Владимир Лунёв@vladimirlunjov
А, ну это нормально. Рекламируем одно, продаём другое, а зарабатываем на третьем😂Главное, чтобы работало
Sergey Dmitriev@sergeysdmitriev
Оо, и получается, что есть шансы и из построения систем агентов, что для людей найти потом.

С другой стороны, интересно, как себя ещё смогут показать не корпоративные методы построения агентных систем, а те что основаны на работе сообществ - open source и другие волонтерские форматы.
Владимир Лунёв@vladimirlunjov
Мне кажется, здесь даже не OKR подходит, а самый что ни на есть классический менеджемент про планирование-делегирование-контроль. Много об этом размышляю и пишу в последнее время. Фактически, люди, умеющие управлять другими людьми уже получают фору в управлении гибридными командами или командами, состоящими из ИИ-агентов

Здесь ещё важно понимать про то, какие задачи можно отдать ИИ, а какие оставить человеку. Разрабатываю сейчас как раз фреймворк для подобного делегирования
Join discussion on TelegramComments are synced from Telegram

Read next