Sync Lipsync 3

クリエイターが Sync Lipsync 3 を選ぶ理由

Sync Lipsync 3 は、1 フレームずつの処理を超えて、顔を全体として理解します。それによって、1 回の処理で同期できるものが変わります。極端なアングルも一度でうまくいき、クローズアップはシャープなまま保たれ、口の前で手を振っても同期が崩れません。難しい映像、厳しいスケジュール、以前のモデルでは確実に扱えなかった映像に取り組むクリエイターにとって、このモデルは世代を超える飛躍です。

顔の全体的な理解

以前のリップシンクモデルは、動画を 1 フレームずつ処理し、各フレームを独立して扱っていました。Sync Lipsync 3 は、1 回の生成で、ショット全体にわたる話し手の顔の完全なマップを構築します。この全体的な理解によって、横顔でのあごの微妙な角度、頬の動きに沿った光の当たり方、カットをまたいだ一貫性までとらえます。

クローズアップと極端なアングル

クローズアップは、リップシンクがたいてい崩れるところです。小さな動きが重要になり、誤りが目につきやすくなります。Sync Lipsync 3 はそれに対応します。肩越しのショット、横顔、さらには話し手が話の途中で顔の向きを変える映像など、極端なアングルにも対応します。

遮るものへの対応

口の前の手、マイク、引き上げたスカーフ（これらは古いモデルがつまずくエッジケースです）。Sync Lipsync 3 は、それらをうまく回避して処理します。口が一部隠れている場合は、見えている発話のパターンと周囲の顔の動きから、口の動きを推測します。

1 回の処理で、どの解像度にも

Sync Lipsync 3 は、中間のステップや特殊なケースのための別の処理を必要とせず、1 回の処理で同期全体を生成します。どの解像度とアスペクト比でも動作します。

Craze で Sync Lipsync 3 を使う方法

Sync Lipsync 3 は変換モデルです。あなたが動画と音声を用意すれば、残りは Craze が引き受けます。

1. 動画と、それに同期させたい音声をアップロードします。音声は、ナレーション、吹き替えの演技、まったく新しい音声のいずれでもかまいません。
2. Models パネルかチャットで Sync Lipsync 3 を指定するか、唇の動きを音声に同期させたいと伝えます。モデルを指定しない場合は、Craze が利用できるリップシンクのモデルを料金とともに表示します。
3. Craze が音声に合わせて動画を処理し、唇の動きが一致した結果を届けます。
4. エディターで確認します。同期が少しでもずれていたら、その部分だけ、または動画全体を再生成します。

Sync Lipsync 3 が最も力を発揮するのは、鮮明なクローズアップや、口が見えていて照明が十分に当たっているショットです。複雑な群衆のシーンや、人物がカメラから遠い映像では、まず Craze のエージェントが使えるショットに分解する必要がある場合があります。

Sync Lipsync 3 の料金

Sync Lipsync 3 は、元の動画の長さで料金が決まる変換モデルです。料金は元の動画 1 秒あたり $0.141 です。動画が長いほど料金は高くなり、長さに応じて増えていきます。このページの料金計算ツールで、つくる前に、動画にかかる料金を正確に確認できます。

解像度、フレームレート、音声の品質で料金は変わりません。関係するのは元の動画の長さだけです。

Sync Lipsync 3 が向いている人

動画の吹き替えとローカライズ

Sync Lipsync 3 なら、吹き替えをすばやく行えます。どの言語でもナレーションを録音し、数秒で元の動画に同期させれば、唇の動きが一致します。高価な ADR スタジオや、手作業でのセリフの差し替えは必要ありません。

セリフの差し替えと撮り直し

セリフを変える必要があります。俳優がテイクでセリフを間違えました。Sync Lipsync 3 なら、新しいセリフを録音して既存の映像に同期させられるので、シーン全体を撮り直す必要はありません。

キャラクターアニメーションと AI 動画

ほかの AI モデルで生成したキャラクターでも、手作業でつくったキャラクターでも、Sync Lipsync 3 なら、その話す動きを音声に同期させられます。このモデルは、3D レンダリング、実写、AI 動画のどれにも同じように使えます。

アクセシビリティとコンテンツの適応

複数の地域向けにコンテンツをつくるクリエイターは、1 つの演技を収録し、言語ごとの吹き替え音声に同期させられます。唇の動きは違和感のないままで、視聴者は自分の言語で本物らしい演技を見られます。

インタビューとドキュメンタリーの編集

ドキュメンタリーの制作者は、最適な話の流れを見つけるために、インタビューをカットしたり並べ替えたりすることがよくあります。Sync Lipsync 3 なら、まず音声を編集してから、それに合わせて唇の動きを同期させられます。順番を変えたほうがうまくいく発言も、映像の同期を崩さずに並べ替えられます。

既存の映像へのナレーション

ストック映像やアーカイブ素材を扱うコンテンツクリエイターは、元の話し手が話しているように見えるナレーションを加えられます。無音の映像にナレーションを加える場合でも、ぎこちないセリフを差し替える場合でも、Sync Lipsync 3 なら、難しいアングルでも同期が自然に見えます。

Sync Lipsync 3 とほかのリップシンクモデルの比較

Sync Lipsync 3 と Sync Lipsync 2 Pro は、どちらも Sync Labs によるスタジオ品質のリップシンクエンジンです。Sync Lipsync 3 は追加の処理なしで極端なアングルやクローズアップに対応し、Sync Lipsync 2 Pro はより低い価格で標準的なショットをカバーします。Sync Lipsync 3 はショット全体にわたってフレームを全体的に生成し、Sync Lipsync 2 Pro は 1 フレームずつ処理します。難しいカメラアングルや精密なクローズアップには Sync Lipsync 3 を、シンプルなセリフの差し替えには Sync Lipsync 2 Pro を選んでください。多言語のコンテンツには、Kling LipSync が 5 つの言語にネイティブで対応しています。