Fish Audio GitHub research for Telemost — снимок источников 2026-09-18

raw github fish-audio fish-speech voice-agent telemost modified: 2026-09-18 11:22 · canonical

Fish Audio GitHub research for Telemost — снимок источников 2026-09-18

Immutable research snapshot. Проверено по GitHub REST API и локальным shallow clone официальных репозиториев 2026-09-18. Метрики GitHub изменяются со временем.

Официальные репозитории

Репозиторий	Метрики на 2026-09-18	Лицензия	Подтвержденное назначение
[fishaudio/fish-speech](https://github.com/fishaudio/fish-speech)	32 734 stars; 2 823 forks; pushed 2026-09-16	Fish Audio Research License	Open-weight TTS Fish Audio S2/S2-Pro; локальный HTTP API; Docker; SGLang/vLLM-Omni deployment links.
[fishaudio/fish-agent-sdk-web](https://github.com/fishaudio/fish-agent-sdk-web)	0 stars; 1 fork; pushed 2026-09-14	MIT	Официальный Web/React SDK для hosted Fish Agents: WebRTC, микрофон и playback, live transcripts, client tools. Репозиторий новый, создан 2026-07-30.
[fishaudio/fish-audio-python](https://github.com/fishaudio/fish-audio-python)	216 stars; 42 forks; pushed 2026-07-31	Apache-2.0	Официальный Python SDK для Fish Audio API: ASR и streaming TTS.
[fishaudio/fish-audio-typescript](https://github.com/fishaudio/fish-audio-typescript)	14 stars; 3 forks; pushed 2026-08-20	MIT (`package.json`)	Официальный Node/TypeScript SDK: `convertRealtime`, ASR и управление голосами.
[fishaudio/docs](https://github.com/fishaudio/docs)	10 stars; 24 forks; pushed 2026-09-18	CC-BY-4.0	Официальная документация API, WebSocket TTS и Fish Agents.
[fishaudio/fish-scales-ops](https://github.com/fishaudio/fish-scales-ops)	23 stars; 8 forks; pushed 2026-09-08	не заявлена GitHub API	Низкоуровневые inference kernels; не готовая интеграция звонка.
[fishaudio/realtime-vc-gui](https://github.com/fishaudio/realtime-vc-gui)	61 stars	—	GUI для real-time voice conversion; это преобразование голоса, а не разговорный агент.

Проверенные свойства продуктов

Fish Agents / fish-agent-sdk-web

Fish Agents — hosted-платформа real-time voice agents. STT, turn-taking, TTS и interruption handling выполняет платформа.
Состояние продукта на дату снимка: private beta. Без одобренного доступа /v1/agent/* возвращает 403.
Создание сессии: POST /v1/agent/sessions; ответ содержит join token для транспорта LiveKit WebRTC.
Web SDK @fishaudio/agent-client открывает микрофон и стримит аудио в обе стороны; доступны состояния listening | thinking | speaking, live user transcript и синхронизированный текст ответа агента.
Wire protocol открыт: аудио — LiveKit WebRTC media tracks, события — reliable data channels, транскрипты — lk.transcription streams. Для нестандартного клиента можно использовать любой LiveKit SDK.
Custom LLM поддерживается через OpenAI-compatible /chat/completions с stream: true. Fish Audio при этом оставляет у себя STT, TTS, interruption handling и инструменты.
Публичная цена в официальной документации на дату снимка: $0.06/min за разговор, включая STT/TTS/basic LLM/knowledge/tools; условия могут измениться.

Fish Audio API

Официальный cookbook показывает turn-based цепочку asr.transcribe() → свой LLM → tts.stream().
wss://api.fish.audio/v1/tts/live — bidirectional low-latency TTS по WebSocket и MessagePack: StartEvent, поток TextEvent, обратно AudioEvent, затем CloseEvent/FinishEvent.
Реальный завершающий event клиента называется stop, а не close; FlushEvent заставляет немедленно синтезировать накопленный текст.
Документированный режим latency="balanced" ориентирован примерно на ~300 ms time-to-first-audio; это показатель самого TTS API, а не сквозной задержки звонка.
Browser WebSocket API не позволяет добавлять произвольные HTTP headers, тогда как Fish Audio использует headers для Bearer-аутентификации и выбора модели. Прямой browser-to-Fish WS поэтому требует доверенного server-side proxy.
HTTP TTS поддерживает PCM/WAV/MP3/Opus; для virtual microphone удобнее PCM с последующим ресемплингом.
Fish Audio ASR — beta POST /v1/asr, принимающий файл/MessagePack. Официального streaming WebSocket ASR в документации не найдено; для живого звонка нужен отдельный streaming STT.
Есть официальная интеграция FishAudioTTSService для Pipecat, поэтому Pipecat является практичным оркестратором собственного VAD → STT → LLM → Fish TTS-конвейера.
Это строительные блоки, а не готовый мост в Яндекс.Телемост: захват звонка, VAD/turn detection, interruption и публикацию ответа в микрофон Телемоста нужно реализовать отдельно, если не использовать hosted Fish Agents.

Self-hosted fish-speech

Локальный сервер запускается через tools/api_server.py; основной endpoint POST /v1/tts.
Документация требует 24 GB GPU memory для inference, Linux/WSL; CPU-only установка формально есть, но это не подтверждение пригодной для звонка задержки.
Код и веса распространяются по Fish Audio Research License: research/non-commercial use бесплатны, коммерческое использование требует отдельной лицензии.
Следствие: self-hosted вариант нельзя считать «обычным permissive open source» и нельзя без проверки лицензии закладывать в коммерческий Telemost-продукт.

Неофициальные интеграции, найденные широким GitHub-поиском

Найденные проекты были малозвёздными и не являются основанием архитектуры: protoLabsAI/protoVoice (Pipecat, Fish Audio prosody), bobdoylemedia-ai/zoom-avatar-agent, M2Night/voice-agent-core, Schnee111/shorekeeper-cascade-agent. Они полезны как примеры, но по зрелости существенно уступают официальным SDK и базовым фреймворкам LiveKit/Pipecat.

Проверенные ограничения Яндекс.Телемоста и reference-проекты

Официальный Telemost REST API управляет встречами (create/read/update), но публичного realtime media API для bot join/send/receive audio в проверенной документации не найдено.
В веб-интерфейсе Телемоста можно выбирать микрофон и аудиовыход, что подтверждает реализуемость virtual-device подхода.
[Pipecat](https://github.com/pipecat-ai/pipecat) и [LiveKit Agents](https://github.com/livekit/agents) — зрелые voice-agent frameworks, но сами не подключают агента к Телемосту.
[Attendee](https://github.com/attendee-labs/attendee), [Vexa](https://github.com/Vexa-ai/vexa), [MeetingBot](https://github.com/meetingbot/meetingbot) и Recall.ai полезны как reference architecture браузерных meeting bots; Telemost среди поддерживаемых платформ не заявлен.
[MeetScribe-AI](https://github.com/Pkkarthik12/MeetScribe-AI) демонстрирует Puppeteer + PulseAudio loopbacks + DOM audio hooks, но это небольшой reference-проект, не готовая Telemost-интеграция.
Для VAD/AEC релевантны Silero VAD, WebRTC VAD и pywebrtc-audio; AEC должен получать исходящий TTS как reference signal.

Источники

https://github.com/fishaudio/fish-speech
https://github.com/fishaudio/fish-speech/blob/main/LICENSE
https://github.com/fishaudio/fish-speech/blob/main/docs/en/install.md
https://github.com/fishaudio/fish-speech/blob/main/docs/en/server.md
https://github.com/fishaudio/fish-agent-sdk-web
https://github.com/fishaudio/fish-agent-sdk-web/blob/main/packages/client/README.md
https://github.com/fishaudio/fish-agent-sdk-web/blob/main/packages/protocol/README.md
https://github.com/fishaudio/fish-audio-python
https://github.com/fishaudio/fish-audio-typescript
https://github.com/fishaudio/docs/blob/main/agents/overview.mdx
https://github.com/fishaudio/docs/blob/main/agents/deploy/web-sdk.mdx
https://github.com/fishaudio/docs/blob/main/agents/deploy/protocol.mdx
https://github.com/fishaudio/docs/blob/main/agents/build/custom-llm.mdx
https://github.com/fishaudio/docs/blob/main/api-reference/asyncapi.yml
https://github.com/fishaudio/docs/blob/main/developer-guide/sdk-guide/cookbook/voice-agent-loop.mdx
https://docs.fish.audio/developer-guide/integrations/pipecat
https://yandex.ru/dev/telemost/doc/ru
https://yandex.com/support/yandex-360/business/telemost/web/en/settings