Prompt de termos-chave

Visão geral

O prompt de termos-chave é um recurso que permite destacar palavras ou frases para direcionar o modelo a transcrevê-las. Isso é útil para transcrever palavras ou frases específicas que não são comuns no áudio, como nomes de produtos, nomes próprios ou outros termos específicos. Os termos-chave são mais poderosos do que palavras-chave direcionadas ou vocabulários personalizados oferecidos por outros modelos porque dependem do contexto para decidir se devem ou não transcrever o termo.

Na transcrição em lote, cada termo-chave também pode conter no máximo 5 palavras.

Por exemplo, se o nome da sua empresa não for uma frase comum ou tiver uma grafia ou pronúncia única, você pode usar termos-chave para garantir que o modelo transcreva corretamente. Considere o áudio a seguir:

Sem o prompt de termos-chave, o modelo poderia transcrever o conteúdo acima como:

I work at eleven labs.

O que usa o estilo errado para o nome da empresa. Com o prompt de termos-chave, você pode garantir que o modelo transcreva o conteúdo acima com a grafia e o estilo corretos:

I work at ElevenLabs.

Contexto

O modelo pode usar o contexto para determinar se um termo deve ou não ser transcrito. Ao fornecer o termo-chave “ElevenLabs”, o áudio acima é transcrito como esperado, mas o modelo ainda consegue transcrever corretamente o conteúdo a seguir com base no contexto:

O que gera a seguinte transcrição:

I've worked at many labs. In fact I've worked at eleven labs.

Transcrição em lote

O prompt de termos-chave é integrado à API de Speech to Text em lote ao passar o parâmetro keyterms para o método convert.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-keyterm-prompting.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    # Keyterms to prompt the model with.
    # Up to 1000 keyterms can be provided, with a maximum length of 50 characters each
    keyterms=["ElevenLabs"],
)
print(transcription)

Streaming em tempo real

O prompt de termos-chave também está disponível para a API WebSocket de Speech to Text em tempo real. Passe o parâmetro keyterms ao conectar.

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
    model_id="scribe_v2_realtime",
    keyterms=["ElevenLabs"],
))

Ao usar a API WebSocket diretamente, passe os termos-chave como parâmetros de consulta:

wss://api.elevenlabs.io/v1/speech-to-text/realtime?model_id=scribe_v2_realtime&keyterms=ElevenLabs&keyterms=AnotherTerm

Próximas etapas