Способы распознавания аудио лекций и встреч в текст. Транскрибация

Во время участия в деловых встречах, конференциях или прослушивания лекций часто возникает необходимость зафиксировать ключевые моменты, составить протокол мероприятия либо подготовить резюме выступления. Часто бывает удобнее работать именно с текстом, особенно если требуется тезисное изложение материала или детальное ознакомление с содержанием беседы позже. Тогда перед нами встаёт задача его перевода аудиоматериал в письменный вид — выполнение расшифровки.

Сегодня предлагается разнообразные способы решения задачи перевода устной речи в текстовую форму. Среди них выделяют специализированные программные продукты, доступные для установки на компьютеры и мобильные устройства, а также многочисленные онлайн-платформы. Все они позволяют конвертировать аудиофайлы в текстовые документы.

К одним из недостатков этих решений можно отнести их платность. При условии, имеется возможность воспользоваться бесплатными аналогами.  К таким можно отнести Whisper от создателей ChatGPT. Этот инструмент представляет собой нейросеть, специально разработанную для автоматического распознавания речи и её последующего преобразования в текст.

Опишем два способа использования.

Локальная установка на ваш компьютер. Лучший вариант. Данные не предаются и высокая скорость работы (хотя это зависит от компьютера). Больше подойдет организациям, заботящимся о конфиденциальности информации. Из минусов, не каждый захочет заниматься установкой домашний компьютер, который часто не соответствует техническим требования. В этом случае подойдет второй вариант.

Облачная установка. Работа из браузера, настройка пару минут. Но для этого потребуется сервис Google Colab. Начнем сразу с минусов необходимо войти с систему используя аккаунт Google. Из плюсов, не надо мучится с установкой и можно использовать на любом устройстве. Есть еще ограничения: данные не сохраняются каждом перезапуске файлы удаляются и модель нужно перезапускать. Но это не критично, т.к. настройка быстрая.

Опишем последовательность действий как можно эти воспользоваться.

1.      Заходим в Colab по ссылке https://colab.research.google.com/.

Получаем вот такой вид:

2.      Необходимо изменить настройки. Будет работать и без этого, но так быстрей и качественней

И тут установить переключатель на:

3.      Если имеются информация не нужная вам (описание сервиса) ее можно очистить. Нажав на кнопку и выбрав пункт «Удалить ячейки»

4.      Далее нажимаем «+Код» и в открывшееся окно вставляем текст. И нажимаем кружок с с белым треугольном. Начнется установка, займет до минуты.

Строка запуска:

!pip install git+https://github.com/openai/whisper.git

!sudo apt update && sudo apt install ffmpeg

5.      Переходим в раздел «Файлы» и в него заграем файл который необходимо распознать. Это можно сделать, перетянув файл из проводника или используя кнопку «Загрузить» (папка со стрелкой).

6.      Дождались загрузки файла и теперь можно приступать к расшифровке.

7.      Добавляем еще строку кода через команду «+ Код» и вставляем туда код (ниже, указываем название файле оно должно соответствовать добавленному) и нажимаем выполнить. И ждем ее выполнение. Поддерживаются видео .mp4 и аудио .mp3, .wav, .m4a.

Строка запуска:

!whisper "audio.mp3"

У Whisper есть несколько моделей распознавания, чем она больше, тем лучше результат, но дольше время выполнения.  При работе без указания параметров используется максимальная модель. Но можно ограничить тем самым ускорить обработку. Таже в параметрах можно указать какой язык будут расшифроваться.

Пример строки запуска:

!whisper "audio.mp3" --language Russian --model medium

8.      По итогу выполнения, сформируется набор файлов.

srt - субтитрами, для видео файла можно добавить при просмотре.

tsv -  текст вместе с информацией о времени.

txt - Это обычный текстовый файл, содержащий только транскрибированный текст без каких-либо временных меток или метаданных.

vtt: - это еще один формат файла субтитров

Для нас может быть интересен файлы txt и srt. Данные файлы сохраняете на диске, для дальнейшего использования.

Данные настройки можно сохранить, в следующий раз открыть сохранный код и настройки.