Zur Navigation springen

Text to Speech streamen

Dieser Leitfaden zeigt Ihnen, wie Sie Text to Speech streamen und Audio optional in AWS S3 hochladen.

Dieser Leitfaden behandelt drei Ansätze: Sprache als Datei generieren, die Audioantwort direkt streamen und generiertes Audio optional in einen AWS-S3-Bucket hochladen, um es über eine signierte URL zu teilen.

Dieser Leitfaden setzt voraus, dass Sie Ihren API-Schlüssel und Ihr SDK eingerichtet haben. Schließen Sie zuerst die Schnellstartanleitung ab, falls Sie dies noch nicht getan haben. Der optionale Abschnitt zum S3-Upload erfordert außerdem ein AWS-Konto mit Zugriff auf S3.

Möchten Sie wissen, warum Streaming so funktioniert? Audio-Streaming verstehen erläutert Protokoll, Pufferung und Latenz-Kompromisse im Detail.

Text in Sprache umwandeln (Datei)

Um Text in Sprache umzuwandeln und als Datei zu speichern, verwenden wir die Methode convert des ElevenLabs SDK und speichern sie anschließend lokal als .mp3-Datei.

import os
import uuid
from dotenv import load_dotenv
from elevenlabs import VoiceSettings
from elevenlabs.client import ElevenLabs
load_dotenv()
ELEVENLABS_API_KEY = os.getenv("ELEVENLABS_API_KEY")
elevenlabs = ElevenLabs(
api_key=ELEVENLABS_API_KEY,
)
def text_to_speech_file(text: str) -> str:
# Calling the text_to_speech conversion API with detailed parameters
response = elevenlabs.text_to_speech.convert(
voice_id="pNInz6obpgDQGcFmaJgB", # Adam pre-made voice
output_format="mp3_22050_32",
text=text,
model_id="eleven_flash_v2_5", # use the flash model for low latency
# Optional voice settings that allow you to customize the output
voice_settings=VoiceSettings(
stability=0.0,
similarity_boost=1.0,
style=0.0,
use_speaker_boost=True,
speed=1.0,
),
)
# uncomment the line below to play the audio back
# play(response)
# Generating a unique file name for the output MP3 file
save_file_path = f"{uuid.uuid4()}.mp3"
# Writing the audio to a file
with open(save_file_path, "wb") as f:
for chunk in response:
if chunk:
f.write(chunk)
print(f"{save_file_path}: A new audio file was saved successfully!")
# Return the path of the saved audio file
return save_file_path

Anschließend können Sie diese Funktion wie folgt ausführen:

text_to_speech_file("Hello World")

Text in Sprache umwandeln (Streaming)

Wenn Sie das Audio lieber direkt streamen möchten, ohne es in einer Datei zu speichern, können Sie unsere Streaming-Funktion verwenden.

import os
from typing import IO
from io import BytesIO
from dotenv import load_dotenv
from elevenlabs import VoiceSettings
from elevenlabs.client import ElevenLabs
load_dotenv()
ELEVENLABS_API_KEY = os.getenv("ELEVENLABS_API_KEY")
elevenlabs = ElevenLabs(
api_key=ELEVENLABS_API_KEY,
)
def text_to_speech_stream(text: str) -> IO[bytes]:
# Perform the text-to-speech conversion
response = elevenlabs.text_to_speech.stream(
voice_id="pNInz6obpgDQGcFmaJgB", # Adam pre-made voice
output_format="mp3_22050_32",
text=text,
model_id="eleven_multilingual_v2",
# Optional voice settings that allow you to customize the output
voice_settings=VoiceSettings(
stability=0.0,
similarity_boost=1.0,
style=0.0,
use_speaker_boost=True,
speed=1.0,
),
)
# Create a BytesIO object to hold the audio data in memory
audio_stream = BytesIO()
# Write each chunk of audio data to the stream
for chunk in response:
if chunk:
audio_stream.write(chunk)
# Reset stream position to the beginning
audio_stream.seek(0)
# Return the stream for further use
return audio_stream

Anschließend können Sie diese Funktion wie folgt ausführen:

text_to_speech_stream("This is James")

Sobald Ihre Audiodaten als Datei oder Stream erstellt wurden, möchten Sie sie möglicherweise mit Ihren Nutzern teilen. Dazu können Sie sie in einen AWS-S3-Bucket hochladen und einen sicheren Freigabelink generieren.

Um die Daten in S3 hochzuladen, müssen Sie Ihre AWS-Zugriffsschlüssel-ID, den geheimen Zugriffsschlüssel und den Namen der AWS-Region in Ihre .env-Datei eintragen. So finden Sie die Anmeldedaten:

  1. Melden Sie sich bei Ihrer AWS Management Console an: Rufen Sie die AWS-Startseite auf und melden Sie sich mit Ihrem Konto an.
AWS-Console-Anmeldung
  1. Öffnen Sie das IAM-Dashboard (Identity and Access Management): Sie finden IAM im Servicemenü unter „Security, Identity, & Compliance“. Das IAM-Dashboard verwaltet den Zugriff auf Ihre AWS-Services sicher.
AWS-IAM-Dashboard
  1. Erstellen Sie einen neuen Nutzer (falls erforderlich): Wählen Sie im IAM-Dashboard „Users“ und dann „Add user“. Geben Sie einen Benutzernamen ein.
AWS-IAM-Nutzer hinzufügen
  1. Legen Sie die Berechtigungen fest: Hängen Sie Richtlinien entsprechend der gewünschten Zugriffsebene direkt an den Nutzer an. Für S3-Uploads können Sie die Richtlinie AmazonS3FullAccess verwenden. Es empfiehlt sich jedoch, nach dem Prinzip der geringsten Berechtigung nur die minimal erforderlichen Berechtigungen für eine Aufgabe zu vergeben. Sie sollten eine benutzerdefinierte Richtlinie erstellen, die nur die notwendigen Aktionen für Ihren S3-Bucket erlaubt.
Berechtigung für AWS-IAM-Nutzer festlegen
  1. Prüfen und erstellen Sie den Nutzer: Prüfen Sie Ihre Einstellungen und erstellen Sie den Nutzer. Nach der Erstellung erhalten Sie eine Zugriffsschlüssel-ID und einen geheimen Zugriffsschlüssel. Laden Sie diese Anmeldedaten herunter und speichern Sie sie sicher; der geheime Zugriffsschlüssel kann danach nicht erneut abgerufen werden.
Geheimer AWS-Zugriffsschlüssel
  1. Ermitteln Sie den Namen der AWS-Region, z. B. us-east-1
Name der AWS-Region

Falls Sie keinen AWS-S3-Bucket haben, müssen Sie einen neuen erstellen:

  1. Öffnen Sie das S3-Dashboard: Sie finden S3 im Servicemenü unter „Storage“.
AWS-S3-Dashboard
  1. Erstellen Sie einen neuen Bucket: Klicken Sie im S3-Dashboard auf die Schaltfläche „Create bucket“.
Schaltfläche „Create bucket“ anklicken
  1. Geben Sie einen Bucket-Namen ein und klicken Sie auf die Schaltfläche „Create bucket“. Sie können die anderen Bucket-Optionen auf den Standardwerten lassen. Der neu hinzugefügte Bucket erscheint in der Liste.
Namen für neuen S3-Bucket eingeben
S3-Bucket-Liste

Installieren Sie boto3 für die Interaktion mit AWS-Services über pip und npm.

pip install boto3

Fügen Sie dann die Umgebungsvariablen wie folgt zur .env-Datei hinzu:

AWS_ACCESS_KEY_ID=your_aws_access_key_id_here
AWS_SECRET_ACCESS_KEY=your_aws_secret_access_key_here
AWS_REGION_NAME=your_aws_region_name_here
AWS_S3_BUCKET_NAME=your_s3_bucket_name_here

Fügen Sie die folgenden Funktionen hinzu, um den Audiostream in S3 hochzuladen und eine signierte URL zu generieren.

import os
import boto3
import uuid
AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")
AWS_REGION_NAME = os.getenv("AWS_REGION_NAME")
AWS_S3_BUCKET_NAME = os.getenv("AWS_S3_BUCKET_NAME")
session = boto3.Session(
aws_access_key_id=AWS_ACCESS_KEY_ID,
aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
region_name=AWS_REGION_NAME,
)
s3 = session.client("s3")
def generate_presigned_url(s3_file_name: str) -> str:
signed_url = s3.generate_presigned_url(
"get_object",
Params={"Bucket": AWS_S3_BUCKET_NAME, "Key": s3_file_name},
ExpiresIn=3600,
) # URL expires in 1 hour
return signed_url
def upload_audiostream_to_s3(audio_stream) -> str:
s3_file_name = f"{uuid.uuid4()}.mp3" # Generates a unique file name using UUID
s3.upload_fileobj(audio_stream, AWS_S3_BUCKET_NAME, s3_file_name)
return s3_file_name

Anschließend können Sie die Upload-Funktion mit dem Audiostream aus dem Text aufrufen.

s3_file_name = upload_audiostream_to_s3(audio_stream)

Generieren Sie nach dem Hochladen der Audiodatei in S3 eine signierte URL, um den Zugriff auf die Datei zu teilen. Diese URL ist zeitlich begrenzt und läuft nach einem bestimmten Zeitraum ab. So eignet sie sich für eine sichere temporäre Freigabe.

Sie können jetzt wie folgt eine URL aus einer Datei generieren:

signed_url = generate_presigned_url(s3_file_name)
print(f"Signed URL to access the file: {signed_url}")

Wenn Sie die Datei mehrfach verwenden möchten, sollten Sie den S3-Dateipfad in Ihrer Datenbank speichern und die signierte URL bei Bedarf neu generieren, statt die signierte URL direkt zu speichern, da sie abläuft.

Um alles zusammenzuführen, können Sie das folgende Skript verwenden:

import os
from dotenv import load_dotenv
load_dotenv()
from text_to_speech_stream import text_to_speech_stream
from s3_uploader import upload_audiostream_to_s3, generate_presigned_url
def main():
text = "This is James"
audio_stream = text_to_speech_stream(text)
s3_file_name = upload_audiostream_to_s3(audio_stream)
signed_url = generate_presigned_url(s3_file_name)
print(f"Signed URL to access the file: {signed_url}")
if __name__ == "__main__":
main()

Fazit

Sie wissen jetzt, wie Sie Text in Sprache umwandeln und eine signierte URL zum Teilen der Audiodatei generieren. Diese Funktion eröffnet zahlreiche Möglichkeiten, Inhalte dynamisch zu erstellen und zu teilen.

Hier sind einige Beispiele dafür, was Sie damit erstellen können.

  1. Bildungs-Podcasts: Erstellen Sie personalisierte Bildungsinhalte, auf die Schüler bei Bedarf zugreifen können. Lehrkräfte können ihre Lektionen in Audio umwandeln, in S3 hochladen und die Links mit Schülern teilen – für ein ansprechenderes Lernerlebnis außerhalb des traditionellen Klassenzimmers.

  2. Barrierefreiheitsfunktionen für Websites: Verbessern Sie die Barrierefreiheit von Websites, indem Sie Textinhalte im Audioformat anbieten. So werden Informationen auf Websites für Menschen mit Sehbeeinträchtigungen oder für Personen, die auditiv lernen, zugänglicher.

  3. Automatisierte Kundenservice-Nachrichten: Erstellen Sie automatisierte und personalisierte Audionachrichten für den Kundenservice, etwa FAQs oder Bestellupdates. Dies kann ein ansprechenderes Kundenerlebnis als herkömmliche Text-E-Mails bieten.

  4. Hörbücher und Erzählungen: Wandeln Sie ganze Bücher oder Kurzgeschichten in Audio um und bieten Sie Ihrem Publikum eine neue Möglichkeit, Literatur zu erleben. Autoren und Verlage können ihr Inhaltsangebot erweitern und Menschen erreichen, die lieber hören als lesen.

  5. Sprachlerntools: Entwickeln Sie Sprachlernmittel, die Lernenden Audiolektionen und Übungen bieten. So lassen sich Aussprache und Hörverständnis gezielt üben.

Nächste Schritte