Самый простой способ проверить работающую ИИ-систему - попросить модель проверить саму себя. Обычно это самый херовый вариант: модель защищает собственные ошибки. Второй вариант - позвать внешнюю модель. Для разработки я использую Claude Code, а на проверку обычно зову Codex. У меня подключены и другие модели, но Codex отлично проверяет то, что сделал Claude Code. Третий вариант - запустить мой скрипт аудита: он задает вопросы, которые модель сама себе обычно не задает. Не переусложнили ли мы решение? Есть ли вариант проще? Что говорит документация? Я написал этот скрипт для себя и часто им пользуюсь

Что показать внешней модели
Дай ревьюеру исходную задачу, изменения и критерий приемки. Если приложишь только объяснение автора, проверка начнется с тех же допущений. Например, фразу "обработка повторов работает" полезно заменить конкретным требованием: повторный запуск не должен дублировать результат. Попроси показать, на чем основано каждое замечание: файл и строка, запись журнала или раздел официальной документации. Если ревьюер предлагает другой способ, пусть объяснит, какие части системы можно убрать и что придется сохранить
Самопроверка все-таки годится для быстрой сверки с заданием. Попроси модель перечислить, что она открыла или запустила и какого результата ждала. Так видно, где есть наблюдение, а где она просто уверенно пересказывает собственный план. Для внешнего ревью оставь вопрос, который автор мог вообще не заметить: верно ли выбрана граница задачи?

Как проверить работу, а не отчет
У моих автосубтитров от сырого ролика до готового видео проходит примерно 2 минуты. По одному слову в Telegram система берет файл с Диска, вычитывает расшифровку и сохраняет результат. Если вычитка не удалась, видео все равно собирается с исходным текстом. Хорошая проверка этого сценария - открыть ролик и сверить несколько моментов речи с субтитрами, а потом отдельно проверить, что происходит, когда вычитка недоступна. Один зеленый статус не скажет, какой из двух путей отработал
У контент-завода от идеи до публикации проходит около 5 минут. Тут другая граница: черновик готовит система, а выпуск разрешает человек. Проверять нужно и то, что пост выходит после согласия, и то, что без нажатия ничего не уходит. Запускай такие проверки на тестовом материале и проверяй результат в месте назначения, а не по слову "готово" в чате
Перед исправлением отдели реальный сбой от идеи "можно красивее". Для сбоя запиши вход, ожидаемый и фактический результат, а затем повтори тот же сценарий после правки. Если это пока только гипотеза ревьюера, так и пометь ее в отчете
Если система работает, но непонятно, зачем бизнесу вообще автоматизировать этот процесс, это отдельный вопрос для ИИ-аудита бизнеса
С какого прогона начать
Возьми задачу, которую система решает каждый день, и найди реальный вход с известным результатом. Для помощника, который расставляет встречи, это может быть просьба перенести встречу. На тестовом календаре посмотри, что случилось со старым событием и какое время появилось в новом. Ответ в чате здесь вторичен: сообщение "перенес" не доказывает, что календарь изменился. Для следующего прогона оставь тот же запрос, но сделай нужное время занятым. Заранее реши, должна ли система предложить другое окно или спросить человека
Для сравнения версий сохрани один и тот же набор входов и запиши, что поменялось между запусками: модель, инструкция или инструмент. Если одновременно поменять все, будет сложно понять, какая правка вернула ошибку. Смотри и на расход: если новый вариант выдает тот же результат, но вызывает модель на каждом шаге, проверь, какие из этих шагов может выполнить обычная программа. Для простой сверки свободного времени достаточно прочитать календарь
Если проверяешь задержку, отмечай отдельно время до первого ответа и время до завершения действия. Быстрая реплика бота ничего не говорит о том, сколько пришлось ждать результат
Список проверок команды /audit
Я запускаю /audit вручную, когда хочу проверить ответ, файл или план. Ниже список из настроек команды. Его можно дать своему ревьюеру и без установки /audit
1. **Корректность** — выводы/факты верны?
2. **Полнота** — всё ли покрыто, ничего не забыто?
3. **Скрытые допущения** — что принято на веру и не проверено?
4. **Краевые случаи** — граничные/редкие сценарии?
5. **Простота/переусложнение** — есть лишнее? проще/надёжнее/изящнее?
6. **Альтернативы** — есть более сильное решение/подход?
7. **Сверка с офиц. доками/GitHub** — совпадает с официально рекомендованным?
8. **Безопасность** — секреты, риски, опасные операции?
9. **Стоимость/квоты** — цена, лимиты, расход?
10. **Поддерживаемость/хрупкость** — легко сломать/сопровождать?
11. **Обратимость/откат** — можно откатить? как?
12. **«Проверено живьём vs на словах»** — что реально проверено, что заявлено?
Бонус: как проверить инструкции для Claude
/claude-api prompt-audit из официального скилла Anthropic проверяет промпты, описания инструментов и инструкции вроде CLAUDE.md. Например, находит правила, которые противоречат друг другу, или указание перепроверять одно и то же несколько раз, оставшееся от старой модели. На выходе отчет с указанием файла и строки и предлагаемые правки. Без твоего согласия команда их не применяет