Я считаю, что стоимость ИИ сейчас неоправданно низкая, хотя многие захотят со мной поспорить. Есть несколько вариантов использования ИИ, самый распространенный - по подписке. У меня регулярные расходы на три модели и сервер составляют около $300 в месяц
Я плачу $200 за Claude, $20 за ChatGPT, $20 за GLM и $30 за сервер в месяц. При этом я замеряю, сколько стоило бы использование этих моделей при оплате токенов напрямую через API. По моей оценке, расход составил бы примерно $30 000. Для сравнения: токены - это части текста, которые модель получает и выдает в ответ. Подписка и оплата за токены устроены по-разному, поэтому это расчет для моего объема работы, а не обещание такой экономии каждому
Подписка, API или собственное оборудование
При подписке платишь фиксированную сумму, но работаешь в пределах тарифа. Например, у Claude есть лимиты использования, а у ChatGPT Plus они тоже действуют. На расход лимита влияют длина диалога, выбранная модель и инструменты
При работе через API оплата зависит от использования. По правилам OpenAI, API оплачивается отдельно от подписки ChatGPT, а цена зависит от модели, токенов и используемых функций. Поэтому перед выбором полезно посчитать предполагаемую нагрузку: одна и та же сумма подписки и счет за API не означают одинаковый объем работы
Еще один вариант - запускать модель на своем оборудовании. Чтобы локальная система работала с сильной современной моделью, нужны вычислительные ресурсы, память и место для хранения. Конкретные требования зависят от выбранной модели; обычного ноутбука для некоторых больших моделей может не хватить
Что входит в ежемесячный бюджет
Мои основные расходы - подписки и удаленный сервер. Дополнительные инструменты я докупаю по необходимости. Такие расходы позволяют мне делать примерно 2-3 больших проекта в месяц и одновременно разрабатывать собственную систему
Для бюджета конкретной системы отдельно учитывай стоимость модели, сервера и сторонних сервисов, а также работу по поддержке: проверку сбоев, обновления и изменения под новые задачи. Состав зависит от того, что именно делает система и какие сервисы ей нужны. О том, что входит в поддержку и развитие ИИ-систем, рассказал на сайте
Раньше лимитов было гораздо больше, но раньше и трава была зеленее