AI動画の口パクを切り分ける方法

課題

1枚の画像から短い待機動画を作るとき、人物に話してほしくないのに、口だけが小さく動いてしまうことがある。

「口を動かさないで」と書き足しても直らないと、もっと強い禁止文を足したくなる。でも、それだけでは何が効いたのか分からなくなりやすい。

不要な口パクが出たとき、生成内容の指示であるPrompt、避けたい要素を指定するNegative Prompt、生成の出発点となるSeedを一度に変えず、どこから確認すればよいかを整理する。

今回、唇への言及を減らしたPromptに変えても口パクは残った。一方で、同じ条件のままSeedだけを変えた生成では、口パクが見えなくなった。

ただし、これはその入力画像と設定で確認できた結果にすぎない。Seedを変えれば常に直る、という話ではない。

この事例で役立ったのは、禁止文を重ねることよりも、変更点を分けて「どの条件で何が起きたか」を残すことだった。

待機動画なので、許可したかったのは体のごく小さな動きだけだった。顔の表情や口元は、元画像のまま保ちたかった。

そこで、顔や唇を変えないようにPromptを書き直した。口や唇への言及も、何度も繰り返さない形へ減らした。

それでも、口パクは残った。

禁止しているのに口元が動くときほど、さらに強い指定を足したくなる。ここでは、それを一度止めた。

次に、話す・口を動かすといった要素をNegative Promptへ追加した。

口パクを抑える意図だったが、この条件では同じエラーで3回続けて生成が失敗した。原因がサービス側の一時的な不調なのか、追加した条件なのかは、この時点では確定できない。

そこで、以前のNegative Promptへ戻して試した。生成は完了した。さらに、新しいPositive Promptと以前のNegative Promptを組み合わせても完了した。

この比較で、少なくとも今回のエラーは、追加したNegative Prompt側を先に疑うべき状態になった。

こう思う人もいるかもしれない。

「口パクを止めるなら、Negative Promptをもっと細かくすればいいのでは？」

今回のように、制約を増やした条件が別の失敗と同時に現れたときは、まず元に戻して生成できる状態を確保した方がよい。禁止語を増やすことと、生成が安定することは別問題だったりする。

次は、唇という言葉そのものを使わないPromptにした。「顔全体の表情を元画像と同じに保つ」という、もう少し広い表現で固定する方法を試した。

それでも、以前と同じSeedを使った生成では口パクが残った。

この時点で、Promptだけを何度も書き換えても切り分けが進まないと分かった。そこで、ほかの条件を動かさず、Seedだけを変える比較を行った。

同じ入力画像、同じ唇を名指ししないPrompt、同じ以前のNegative Promptのまま、Seedだけを変更して生成した。

この1回では、口パクは見えなくなった。

ここで言えるのは、「今回の入力では、以前のSeedを使い続けるより別のSeedの方が結果がよかった」ということまでになる。Promptを少し直しても同じSeedを使い続けると、似た初期条件から、似た癖が出続ける可能性がある。

一方で、別の画像や別のモデルでも同じ結果になるとは確認していない。今回うまくいったSeedを、そのまま万能な推奨値にはしない方が安全だった。

確認できた構成は、次の3点だった。

この構成を待機動画用の既定値に反映した。調査中だけに使った切り替えボタンは役目を終えたため取り除き、変更後のテストも通している。

ただし、これは「口パク問題を永久に解決した」宣言ではない。別の画像で同じ症状が出たら、今回と同じように、変更点を1つずつ分けて見直す必要がある。

項目	内容
結論	Promptだけで直らない不要な口パクは、Seedも分けて確認すると原因候補を絞れる
教訓	禁止語を増やす前に、生成できた条件を残して変更を1つずつ比べる
対象読者	画像から動画を作り、人物の表情や口元を安定させたい人

同じ状況に陥ったときの回避策