MatIntellect

Голосовой агент

О проекте

Владелец клиники эстетической медицины, практикующий врач, вёл клинику через шесть ИИ‑ботов, у каждого свой чат. Каждая просьба — найти нужный чат и напечатать. Ему нужен был один помощник, с которым можно просто говорить

Я построил Ами — голосового ИИ‑агента с лицом на закрытой веб‑странице, поверх шести ботов клиники. На быстрые вопросы Ами отвечает голосом сразу, а настоящие задачи передаёт ИИ‑агенту клиники с инструментами, и ответ возвращается голосом. Ами работает на сервере клиники, так что ключи владельца никуда не уходят

Похожее решение — Голосовой ИИ-агент



Что это даст вам

Если у вас уже работают несколько ИИ‑ботов и ради каждой просьбы приходится искать нужный чат, голосовой ИИ‑агент станет одним входом во все: вы говорите на своём языке, видите лицо, а настоящие задачи уходят ИИ‑агенту с инструментами — голосом в браузере или в Telegram. Такого голосового ИИ‑агента я строю поверх вашей системы примерно за 2 недели

Как это устроено

  1. 01Владелец открывает страницу, жмёт «Старт» — появляется аватар
  2. 02Ами отвечает на языке владельца: английском или русском
  3. 03Болтовню берёт быстрая модель
  4. 04Настоящие задачи — ИИ-агенту клиники
  5. 05Одна память — тот же агент отвечает в Telegram
Вход по паролю
Голос владельца
Ами
Доброе утро!
Доброе утро! Чем помочь?
Проверь сервер
Агент проверил сервер
Голосовой ИИ-агент
Два мозга
Быстрая модельждёт✓ болтовня
Агент с инструментамиждётпроверяет сервер✓ ответ голосом
Живой аватар
озвучивает ответы; вкл. и выкл. одной кнопкой
ИИ-агент клиники
Здесь появятся ответы агента
Тот же агент, та же память
Ответы
текстом и голосом
Память
общая с Ами
Посторонним
не отвечает
Один голосовой вход в ИИ-систему клиникиРаботает на сервере клиники, рядом с её шестью ботами


Как это работает

01

Просто говорит

Владелец открывает страницу, жмёт «Старт» и говорит. Ничего не ставить, ничему не учиться

02

Два языка

Ами понимает английский и русский и отвечает на том языке, на котором к ней обращаются, естественным голосом

03

Живой аватар

Ответы произносит лицо, поэтому это разговор, а не окно с текстом

04

Быстрые ответы и настоящая работа

На болтовню Ами отвечает мгновенно, а настоящие просьбы уходят ИИ‑агенту клиники с инструментами, и ответ возвращается голосом

05

Одна память

Что владелец сказал Ами, знает и его помощник в Telegram, и наоборот

06

Его данные — его

Ами работает на сервере клиники, а свою подписку ChatGPT владелец подключил сам



Инструменты

  • LiveKit
    собирает голос, речь и аватар в одного помощника
  • Groq
    быстрая модель для разговора
  • Hermes
    ИИ-агент с инструментами для настоящей работы
  • ChatGPT
    подписка владельца, на которой думает агент
  • Inworld
    живой голос
  • Simli
    живой аватар
  • Telegram
    тот же агент текстом и голосом


Итог

Один голосовой вход поверх шести ботов. Владелец говорит на своём языке, видит лицо и делает настоящую работу голосом в браузере или текстом и голосом в Telegram

Один голосовой ИИ-агент вместо шести чатов:
владелец говорит, а настоящая работа уходит
ИИ-агенту с инструментами
Хочу так же