テキスト読み上げのストリーミング

このガイドでは、ファイルとして音声を生成する方法、オーディオレスポンスを直接ストリーミングする方法、そして必要に応じて生成したオーディオをAWS S3バケットにアップロードして署名付きURLで共有する方法の3つを紹介します。

このガイドでは、APIキーとSDKのセットアップが完了していることを前提としています。まだの場合は、先にクイックスタートを完了してください。オプションのS3アップロードのセクションでは、S3にアクセスできるAWSアカウントも必要です。

ストリーミングがこのように動作する理由を知りたいですか？オーディオストリーミングについて理解するで、プロトコル、バッファリング、レイテンシーのトレードオフを詳しく説明しています。

テキストを音声に変換する（ファイル）

テキストを音声に変換してファイルとして保存するには、ElevenLabs SDKのconvertメソッドを使用し、ローカルに.mp3ファイルとして保存します。

import os
import uuid
from dotenv import load_dotenv
from elevenlabs import VoiceSettings
from elevenlabs.client import ElevenLabs
load_dotenv()
ELEVENLABS_API_KEY = os.getenv("ELEVENLABS_API_KEY")
elevenlabs = ElevenLabs(
    api_key=ELEVENLABS_API_KEY,
)
def text_to_speech_file(text: str) -> str:
    # Calling the text_to_speech conversion API with detailed parameters
    response = elevenlabs.text_to_speech.convert(
        voice_id="pNInz6obpgDQGcFmaJgB", # Adam pre-made voice
        output_format="mp3_22050_32",
        text=text,
        model_id="eleven_flash_v2_5", # use the flash model for low latency
        # Optional voice settings that allow you to customize the output
        voice_settings=VoiceSettings(
            stability=0.0,
            similarity_boost=1.0,
            style=0.0,
            use_speaker_boost=True,
            speed=1.0,
        ),
    )
    # uncomment the line below to play the audio back
    # play(response)
    # Generating a unique file name for the output MP3 file
    save_file_path = f"{uuid.uuid4()}.mp3"
    # Writing the audio to a file
    with open(save_file_path, "wb") as f:
        for chunk in response:
            if chunk:
                f.write(chunk)
    print(f"{save_file_path}: A new audio file was saved successfully!")
    # Return the path of the saved audio file
    return save_file_path

以下のようにして、この関数を実行できます。

text_to_speech_file("Hello World")

テキストを音声に変換する（ストリーミング）

ファイルに保存せずオーディオを直接ストリーミングしたい場合は、ストリーミング機能を利用できます。

import os
from typing import IO
from io import BytesIO
from dotenv import load_dotenv
from elevenlabs import VoiceSettings
from elevenlabs.client import ElevenLabs
load_dotenv()
ELEVENLABS_API_KEY = os.getenv("ELEVENLABS_API_KEY")
elevenlabs = ElevenLabs(
    api_key=ELEVENLABS_API_KEY,
)
def text_to_speech_stream(text: str) -> IO[bytes]:
    # Perform the text-to-speech conversion
    response = elevenlabs.text_to_speech.stream(
        voice_id="pNInz6obpgDQGcFmaJgB", # Adam pre-made voice
        output_format="mp3_22050_32",
        text=text,
        model_id="eleven_multilingual_v2",
        # Optional voice settings that allow you to customize the output
        voice_settings=VoiceSettings(
            stability=0.0,
            similarity_boost=1.0,
            style=0.0,
            use_speaker_boost=True,
            speed=1.0,
        ),
    )
    # Create a BytesIO object to hold the audio data in memory
    audio_stream = BytesIO()
    # Write each chunk of audio data to the stream
    for chunk in response:
        if chunk:
            audio_stream.write(chunk)
    # Reset stream position to the beginning
    audio_stream.seek(0)
    # Return the stream for further use
    return audio_stream

以下のようにして、この関数を実行できます。

text_to_speech_stream("This is James")

おまけ：AWS S3へのアップロードと安全な共有リンクの取得

オーディオデータをファイルまたはストリームとして作成したら、ユーザーと共有したい場合があります。その方法の1つとして、AWS S3バケットにアップロードし、安全な共有リンクを生成できます。

AWS認証情報を作成する

データをS3にアップロードするには、AWSアクセスキーID、シークレットアクセスキー、AWSリージョン名を.envファイルに追加する必要があります。認証情報を確認するには、次の手順に従ってください。

AWSマネジメントコンソールにログインします。AWSのホームページに移動し、アカウントでサインインします。

IAM（Identity and Access Management）ダッシュボードにアクセスします。IAMはサービスメニューの「Security, Identity, & Compliance」にあります。IAMダッシュボードでは、AWSサービスへのアクセスを安全に管理できます。

新しいユーザーを作成します（必要な場合）。IAMダッシュボードで「Users」を選択し、「Add user」を選択します。ユーザー名を入力します。

権限を設定します。付与したいアクセスレベルに応じて、ポリシーをユーザーに直接アタッチします。S3へのアップロードには、AmazonS3FullAccessポリシーを使用できます。ただし、最小権限の原則に従い、タスクに必要な最小限の権限のみを付与することをおすすめします。S3バケットで必要なアクションだけを許可するカスタムポリシーを作成することもできます。

ユーザーを確認して作成します。設定を確認してユーザーを作成します。作成後、アクセスキーIDとシークレットアクセスキーが表示されます。これらの認証情報は必ずダウンロードして安全に保存してください。この手順の後、シークレットアクセスキーを再取得することはできません。

AWSリージョン名を取得します。例：us-east-1

AWS S3バケットをお持ちでない場合は、次の手順で新しく作成する必要があります。

S3ダッシュボードにアクセスします。S3はサービスメニューの「Storage」にあります。

新しいバケットを作成します。S3ダッシュボードで「Create bucket」ボタンをクリックします。

バケット名を入力し、「Create bucket」ボタンをクリックします。その他のバケットオプションはデフォルトのままで構いません。新しく追加したバケットがリストに表示されます。

AWS SDKをインストールして認証情報を追加する

pipとnpmを使用して、AWSサービスと連携するためのboto3をインストールします。

pip install boto3

次のように環境変数を.envファイルに追加します。

AWS_ACCESS_KEY_ID=your_aws_access_key_id_here
AWS_SECRET_ACCESS_KEY=your_aws_secret_access_key_here
AWS_REGION_NAME=your_aws_region_name_here
AWS_S3_BUCKET_NAME=your_s3_bucket_name_here

AWS S3へのアップロードと署名付きURLの生成

次の関数を追加して、オーディオストリームをS3にアップロードし、署名付きURLを生成します。

import os
import boto3
import uuid
AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")
AWS_REGION_NAME = os.getenv("AWS_REGION_NAME")
AWS_S3_BUCKET_NAME = os.getenv("AWS_S3_BUCKET_NAME")
session = boto3.Session(
    aws_access_key_id=AWS_ACCESS_KEY_ID,
    aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
    region_name=AWS_REGION_NAME,
)
s3 = session.client("s3")
def generate_presigned_url(s3_file_name: str) -> str:
    signed_url = s3.generate_presigned_url(
        "get_object",
        Params={"Bucket": AWS_S3_BUCKET_NAME, "Key": s3_file_name},
        ExpiresIn=3600,
    )  # URL expires in 1 hour
    return signed_url
def upload_audiostream_to_s3(audio_stream) -> str:
    s3_file_name = f"{uuid.uuid4()}.mp3"  # Generates a unique file name using UUID
    s3.upload_fileobj(audio_stream, AWS_S3_BUCKET_NAME, s3_file_name)
    return s3_file_name

テキストから生成したオーディオストリームを使って、アップロード関数を呼び出せます。

s3_file_name = upload_audiostream_to_s3(audio_stream)

オーディオファイルをS3にアップロードした後、ファイルへのアクセスを共有するための署名付きURLを生成します。このURLは期間限定で、有効期限が切れるため、一時的な共有に安全です。

次のようにして、ファイルからURLを生成できます。

signed_url = generate_presigned_url(s3_file_name)
print(f"Signed URL to access the file: {signed_url}")

ファイルを複数回使用する場合は、期限切れになる署名付きURLを直接保存するのではなく、s3のファイルパスをデータベースに保存し、必要になるたびに署名付きURLを再生成してください。

すべてを組み合わせる

すべてを組み合わせるには、次のスクリプトを使用できます。

import os
from dotenv import load_dotenv
load_dotenv()
from text_to_speech_stream import text_to_speech_stream
from s3_uploader import upload_audiostream_to_s3, generate_presigned_url
def main():
    text = "This is James"
    audio_stream = text_to_speech_stream(text)
    s3_file_name = upload_audiostream_to_s3(audio_stream)
    signed_url = generate_presigned_url(s3_file_name)
    print(f"Signed URL to access the file: {signed_url}")
if __name__ == "__main__":
    main()

まとめ

これで、テキストを音声に変換し、オーディオファイルを共有するための署名付きURLを生成できるようになりました。この機能により、コンテンツを動的に作成・共有するさまざまな可能性が広がります。

以下は、この機能を使って構築できるものの例です。

教育ポッドキャスト：生徒が必要なときにアクセスできる、パーソナライズされた教育コンテンツを作成できます。教師は授業をオーディオ形式に変換してS3にアップロードし、リンクを生徒と共有することで、従来の教室外でもより魅力的な学習体験を提供できます。
ウェブサイトのアクセシビリティ機能：テキストコンテンツをオーディオ形式で提供し、ウェブサイトのアクセシビリティを向上させます。これにより、視覚障害のある方や聴覚による学習を好む方も、ウェブサイト上の情報によりアクセスしやすくなります。
自動カスタマーサポートメッセージ：よくある質問や注文状況の更新など、カスタマーサポート向けに自動化されたパーソナライズドオーディオメッセージを作成できます。従来のテキストメールと比べて、より魅力的な顧客体験を提供できます。
オーディオブックとナレーション：書籍全体や短編小説をオーディオ形式に変換し、読者に文学を楽しむ新しい方法を提供できます。著者や出版社はコンテンツの提供方法を多様化し、読むより聴くことを好む層に届けられます。
語学学習ツール：学習者にオーディオレッスンや演習を提供する語学学習支援ツールを開発できます。発音やリスニングスキルを、目的に合わせて練習できるようになります。

次のステップ

WebSocketストリーミング

WebSocketを使用して、LLMによる生成と同時にテキスト読み上げをリアルタイムでストリーミングします。

レイテンシーを理解する

レイテンシーに影響する要素と、最初のオーディオが生成されるまでの時間を最小限に抑える方法を学びます。