Реальное время высококачественного преобразования речи в текст стало возможным благодаря WhisperCPP от OpenAI, высокопроизводительной и открытой модели автоматического распознавания речи.
В своем последнем видео на YouTube Аарон демонстрирует, как использовать свой последний образ DragonOS для транскрибирования аудио с радиоканала голоса, принимаемого с RTL-SDR. Он использует SDR4Space в качестве приемника по командной строке, WhisperCPP как ИИ-транскриптор и Mosquitto для мониторинга выходов WhisperCPP и отображения текста в терминале.
Вот короткое видео, показывающее точно, как настроить и запустить SDR4space таким образом, чтобы потоки IQ в реальном времени демодулировались и подавались на WhisperCPP (высокопроизводительный вывод модели автоматического распознавания речи Whisper от OpenAI) для транскрибирования.
Последний DragonOS FocalX R28 включает все необходимое, чтобы сделать именно то, что я показываю в этом видео, включая небольшой образец модели.
Вы заметите в видео, что задания ставятся в очередь для продолжения захватов, а результаты также отправляются в Mosquitto MQTT, где клиент может видеть сообщения по мере их создания.
Я выбрал для захвата адаптер RTL-SDR v3, но возможно настроить SDR4space так, чтобы использовать различные SDR, поддерживаемые SoapySDR.
В своем первом видео Аарон показывает, как настроить систему на DragonOS. Вскоре после загрузки своего первого руководства Аарон заметил, что повторная компиляция WhisperCPP на локальной системе привела к значительному снижению времени обработки ИИ. После локальной перекомпиляции транскрипция стала почти в реальном времени. Во втором видео Аарон кратко демонстрирует транскрипцию в реальном времени.
В прошлом мы опубликовали похожий проект, который был основан на облачном сервисе Amazon Transcribe. Однако WhisperCPP работает на локальном компьютере, является открытым исходным кодом и, по-видимому, не уступает Amazon Transcribe. Поэтому это, по-видимому, значительный рывок в возможности транскрибирования, и мы можем увидеть, что он будет использоваться для автоматического создания текстовых журналов и оповещений на основе различных радиоканалов.
Источник:
