漉suku. 無料で相談
Deep AI Journal

ディープAI新聞

sukuの制作チームが毎日読む、AIと制作の深掘り新聞。毎日更新。

DEEP AI JOURNAL
ディープAI新聞 2026.11.19 号の表紙
DEEP AI JOURNAL / VOL.001

完成寸前を、
救うAI。

撮り直さずに、どこまで直せるか。
声・光・一枚だけを動かす20本。

還元される動画代、撮り直さず変える背景、録音から逆算する映像。今日は「完成寸前を救うAI」を掘る。

今日の20本


一面

01|同じ演技の向こう側で、街だけが動き出す

Beeble SwitchX 3.0|研究紹介11月10日/更新告知11月11日

出演者の演技は気に入っている。けれど背景は、動く雪景色や交通のある街にしたい。SwitchX 3.0は、そうした変更に最大4枚の参照を使う。セット全景、小道具、絵コンテを組み合わせ、動く背景とカメラへの追従を制御するという。

元の演技映像+最大4枚の参照 → 背景・照明を生成 → 別の場面に置かれた動画。 開発元によれば、Source-Locked Renderingは元映像のアルファ内の演技を保つ設計だ。手持ちカメラや回り込みにも対応し、BeebleアプリとCanvasで最大4Kを扱う(4K・10-bit出力はProfessionalプラン)。公式更新/研究説明

制作上の狙いは、採用した演技を使ってロケーション違いの案を並べられることだ。背景参照を交換するだけで成立するなら、広告の季節違いや地域違いを試す工程が変わる。これは編集部の用途案で、今回実際に比較した結果ではない。

費用を具体的に。 11月19日の公式料金表では、720p=6、1080p=20、2160p=80クレジット/秒。5秒なら順に30・100・400クレジットになる。これは単価×秒数の計算で、今回の請求実績ではない。Creator以上が対象で、4K・10-bitはProfessional限定。契約料・追加購入分の現金支出は自分のプランで分けて見る。

操作の要所。 アプリ内でマスクを作り、白を残す部分、黒を生成する部分にする。公式のマスク説明

最初の1回〈編集部案・未実施〉

  1. 店舗紹介など、自分が使える動画から5秒を切り出す。人物と保持したい商品・ロゴを白、生成し直す背景を黒に指定し、背景参照は1枚に絞る。
  2. まず720pで1回生成する。画面に出る消費量が想定30クレジットと合うか実行前に確認する。
  3. 元映像と並べ、顔、髪の輪郭、手と商品の重なり、商品名を確認する。形や文字が崩れたらマスクと参照を見直し、保持できなければそのショットでは採用しない。

背景だけを変える試験では、人物の表情や商品を勝手に変えていないことを合格条件にする。高解像度化はその後だ。

確認したい境目: 「演技を保持」は開発元の仕様説明。手の前を物が横切る場面、髪の輪郭、動く影まで同じ品質で処理できるかは未実測だ。採用判断では顔だけでなく、元映像との境界をコマ送りで見たい。

02|声を先に決めると、動画の作り方が変わる

H3 Editor|初公開11月10日/0.13.0更新11月18日

ナレーションは承認済み。ここから映像を作りたい。ComfyUI内で動くH3 Editorは、録音音声、人物の参照写真、各ショットの説明を渡し、ローカルGPUで生成した映像をタイムラインへ並べる。トリム、延長、テイク比較、音楽の音量調整、書き出しまで同じ画面にある。

録音+人物写真+ショット記述 → MiniMax H3生成・編集・音声ミックス → 一本の動画。 ショットを前後へ延ばし、二つのクリップをつなぐ映像を生成する機能もある。11月18日版では2〜15秒の指定区間を文章で編集し、元の音を保持した別テイクとして比較できる。公開コードと手順/更新履歴

使いどころは、音声や構成が先に固まった説明動画だ。短い下書きを複数作り、残すテイクだけ仕上げる。各レンダーを別テイクとして持つので、変更前へ戻りながら選べる。

費用・条件: エディタはGPL-3.0。ComfyUI 0.43以上が必要で、作者の確認環境は0.44。推奨構成のモデル取得は約54GB。HyperFlow INT8はRTXのVRAM 24GB以上が推奨され、小容量向けGGUFもある。最低VRAMは構成次第で、外部LLMを接続すればAPI料も加わる。作者がエディタを実際に検証したのは96GB GPUの1台で、24GBはHyperFlowモデル側の推奨値。エディタ全体の24GB動作実績とは区別する。

機能が多くても、同一性は要確認。 実験的なモーション転送は、手足や背景がずれる場合があると作者も記す。エディタのGPLと使用モデルの条件は別で、MiniMax H3のライセンスには地域による制限がある。今回はインストールも生成もしておらず、手元のGPUでの所要時間は分からない。

最初の1回〈編集部案・未実施〉

条件を満たすGPU環境がある人だけ、承認済みの声5秒・人物1人・1カットで試す。人物写真をCastに登録し、New clipでクリップを作る。クリップに録音とショットの説明を設定してからRender draftを押し、顔、口、音のタイミングを確認する。

公式説明では、Render finalは新しいテイクを生成し、Finish draftは選んだ下書きを引き継いで仕上げる。採用した動きがあるなら、この違いを見て操作を選ぶ。初期設定時間と1テイクの待ち時間を分けて記録し、顔や発話のずれが残るものは完成扱いにしない。

03|生成代が戻る。でも、何が戻らない?

Floyo|キャンペーン期間:11月17日9時〜24日9時〈日本時間、条件ページの検索索引による〉|11月19日確認

Wan 3.0/Primeを試したい人には気になる話だ。Floyoは対象のPartner Nodeクレジットを実行時に消費し、11月24日にチーム残高へ還元するキャンペーンを案内している。対象チームには5ドル分も追加される。戻る先はサービス内の残高で、カードへの返金ではない。

使い方の入口は、参照画像と動きの指示を渡すimage-to-video、または参照素材から動画を作るreference-to-video。画像・参照素材+指示 → Wan 3.0/PrimeのPartner Node → 動画という流れになる。モデル自体の公式紹介は8月24日で、今回のニュースは11月の還元企画だ。

直接確かめた範囲。 公式料金ページでは、有料プラン限定、11月24日の還元、5ドル分追加、そしてFloTimeは別料金という表示を確認した。動画生成に使うノード代が戻っても、追加のGPU処理で使ったFloTimeまで戻るとは読めない。ワークフローを組む時間や待機時間は、公式説明ではFloTimeの計算外だ。

照合が残る範囲。 キャンペーン条件ページは検索索引に本文相当が出たが、ページの直接取得はできなかった。索引上の期間は日本時間11月17日9時〜24日9時、実行時に有料プランであること、自己所有APIキーは対象外とされる。この細部は直接の原文照合が残る。

無料コード経由のExplorerが対象か、コード「FLOYOCPPAGI-4M」が有効か、還元残高がいつ失効するかも未確認だ。試すなら実行前のプラン表示と、ノード代・FloTimeの内訳を保存しておくと、後から勘定を合わせやすい。

費用・条件: 有料プランと実行時の残高が必要。FloTimeは通常課金。実際の1本当たり費用、還元の着金は未検証。公式モデル解説

最初の1回〈編集部案・未実施〉

既に対象の有料プランを使っている場合、利用権のある商品写真1枚から短い動画を1本だけ試す。公式FAQによれば、Partner Node上に1回の料金が出る。実行前にその表示と残高を控え、生成後はRun Historyの実行時間と残高差を記録する。

固定の契約料、今回使ったノード残高、FloTime、追加の現金支出を分ける。商品形状・ロゴ・余計な文字の有無を見て採否を決める。還元額だけでは節約を判断できない。同じ素材を普段の方法で作る場合と、採用できた1本当たりの費用・修正回数・作業時間を比べる。


短報

04|AI動画のカリカリ感を、最後の1ノードで

DUGCO Tools|11月19日内容確認/初公開日は一次未確認

VFX制作者Doug HoganのFilm Finishは、生成素材の硬い微細コントラストを抑え、粒子やハイライトを35mm風に整える。既存の画像・動画 → デコード後にノードを追加 → 仕上げ済み素材。 250Dと500Tを選べる。公式コード

コードはMIT。Film Finish自体は追加モデル不要で、動画の入出力にはVideo Helper Suiteを使う。別機能のLight Transferは、他モデルで作った照明変化を元の実写へ戻す工程だ。11月13日という初公開日は二次紹介のみで、一次未確認。仕上がりも本稿では未実測。パック全体を「商用無料」と一括しない。

05|惜しいショットを捨てる前に、口と音を直す

Reverie Enhance Clip|解説11月8日、初公開日ではない

構図と演技が成立したショットへ、口パク、新しい台詞、効果音、スタイル変更を後から適用する。採用済み動画+修正指示 → Enhance Clipの処理 → 仕上げたテイク。 全面再生成の前に試す工程として紹介されている。公式解説

記事時点で提供済み。処理別の料金、300クレジットという新規特典の適用条件は未確認。元の演技や構図の失敗を救う機能ではない、と開発元自身が線を引いている。

06|16GBのMacにも、動画AIの居場所を作る

Phosphene|省メモリ更新11月13日、v5.0.20

Apple Siliconで動くローカル生成アプリが、LTX-2.5のメモリ使用を削減した。生成指示・素材 → Mac内で動画生成 → ローカル動画。 モデルを外付けドライブへ保存・移動する機能も加わった。公式リリース

基本機能は無料、有料Proあり。16GB Macでピーク約9GBから約5.7GBへ、は開発元測定。各モデルの条件は別だ。5.0.20は最新版ではなく、小メモリ環境のLoRA不具合は5.0.21以降で修正された。変更履歴

07|ナレーションの一語だけ、録り直さず替える

ZONOS3-Mini|公式掲載11月9日/詳細解説11月12日

声の合成に加え、単語や短句を差し替える編集用モデルも公開された。許諾された参照音声+文章 → 話者・話速・感情を指定、必要箇所を置換 → 音声。 ナレーションの小さな修正に気になる入口だ。公式紹介/編集手法の解説

重みApache-2.0、ランタイムMIT。Mac向けMLX、GGML、WebGPU等がある。最低メモリとクラウド料金は未確認。対応43言語との説明はあるが、日本語で自然につながるかは未実測。

08|その「えー」は、残しておきたい

Rumble-2-Flash|11月18日公開

逐語録なら言い直しを残したい。議事録なら数字の表記を揃えたい。音声ファイル・URL+出力条件 → 0.5Bモデルで認識 → 指定した形式の文字起こし。 フィラー、繰り返し、言語、数字表記を制御できる。開発元の手順

Apache-2.0で、TransformersやvLLMへ組み込める。API料金、最低RAM/VRAM、日本語単独の精度は未確認。「1時間を約0.5秒」は満杯バッチの処理量換算で、個人PC上の待ち時間ではない。

09|部屋を描き換えても、奥行きの手掛かりは残す

MOSS Depth Control LoRA|重み・ワークフロー公開11月10日

内装写真を描き換えるたび、窓や構図まで変わる。その対処の一つが深度図だ。写真 → Depth Anything V2で奥行きを抽出 → MOSSへ外観指示と渡す → 別様式の画像。 付属ワークフローをComfyUIへ読み込める。作者のモデルカード

LoRA約290MB、Apache-2.0。別途ベースモデル、テキストエンコーダー、VAE等が必要。最低VRAMは未確認。深度は手掛かりで、寸法や窓の完全保持ではない。施工図ではなく案の比較向けだ。

10|一本のUGC動画を、差し替え可能な部品へ

Monid × Hypit|11月19日内容確認/告知日は一次未確認

ショット順、単語単位の字幕、B-rollの位置を再編集できる工程にする。利用権のある参照動画 → Hypitで構成を工程化 → 話者・商品・言語などを替えた動画。 一本を真似る発想から、次も直せる作り方へ進む。公式チュートリアル

スキルは無料、生成はMonidの前払残高を消費する。「0.14ドル」は一部の4秒480p生成の古い表示で、完成動画の値段ではない。現行単価は未確認。Xの11月12日告知という日付も原本では確認できていない。

11|海辺を作ってから、浮き輪だけフラミンゴに

AI Lukeの制作ガイド|11月2日公開/制作記録は9月12日

一度に全部を直そうとしない実例。参照映像 → 動作とカメラを手掛かりに人物・背景を変更 → 採用結果を再入力 → 浮き輪だけを差し替え。 最後に許可済みの元音声を戻す。制作者のガイドPDF/Genjutsu公式解説

生成サービスの利用料が必要。「7ドル・8.5分」は請求明細で照合された値ではないため予算の根拠にしない。音声維持を文章で頼むだけでは、元の音が保存されるとは限らない。

12|CSVの一行から、マスコットの次の一話

Shotstack × n8n|当事者投稿11月17日

DriveのCSVにあるエピソード案 → Claudeで5シーンを設計 → 画像・動画・音声・字幕を生成 → 30秒動画をDriveへ保存。 共通のキャラクター参照を各場面へ渡す、連作用JSONテンプレートが公開された。Shotstack名義の手順投稿

テンプレートは無料、実行は有料。約30クレジット=約6ドル/話+Anthropic API料、約10分は投稿者のテスト例。10クレジットの試用では標準一話に足りない。キャラクターの完全一致は保証されない。

13|人を消したあと、影だけ残る問題へ

Pruna除去LoRA|ComfyUI版初回11月10日/説明更新11月12日

画像+消す対象の指定 → 専用LoRAで物体・影・反射を補完 → 除去後の画像。 6/8ステップのComfyUIワークフローと比較表示が配られている。人物の輪郭だけ消して終わる処理の先を狙う。公式モデル/ComfyUI版

研究・評価枠。 公開ライセンスは非商用に限定され、広告制作などの商用には別契約が必要。契約料金は未確認。周囲を消し過ぎたり、埋めた質感が不自然になる場合もモデルカードに記されている。

14|二人を別の画像AIで描き、一つの恋を作る

antrofrog『No Ordinary Love』|作品10月28日/Krea解説11月2日

約59秒、台詞なしの2D作品。作者クレジットによると、GeorgeはMidjourney 8.2、GinaはKrea 3、動きはSeedance 2.5を使う。人物の静止画設計 → 短い動作へ展開 → 一本のアニメ。 キャラごとに道具を選んだ制作例だ。Krea公式解説

制作費と所要時間は未公開。各サービスの利用料が必要で、作者の全プロンプトや設定もない。記事後半の再現手順はKrea編集部の提案で、作者が実際に踏んだ全工程とは区別して読む。

15|自社キャラに、縦動画の司会を頼む

Higgsfield Shorts Studio|11月3日リリース項

キャラクター画像・動画+テーマ・冒頭フック+動きの参照 → 司会者付き短尺を生成 → 9:16動画。 10〜120秒の参照やExploreの形式を使い、10秒〜2分の出力を作る。WebとMCP経由の提供が案内されている。公式変更履歴

料金は長さに連動し、Basic/High品質がある。固定価格や同じ顔・動作の維持率は未確認。利用権を持つマスコットや司会者で、テーマ違いのシリーズを試す用途が考えられる。

16|旅行写真352枚。「2枚目だけ替えて」が通じる

Siddhant Khareの実録|11月1日公開

Apple Photosの旅行日付と希望 → MCPで候補を表示し、固定IDで差し替え → SNS用10枚の選択リスト。 作者は352枚の写真から選び直しを繰り返し、同じ選択からLive Photosの旅行動画も作った。当事者の記録/公開コード

サーバーはMIT。Mac、Photos、Python3.11以上、uvが必要で、動画化にはFFmpegを追加。AIクライアント料は別だ。作者も時間節約やトークン費は測っていない。原本を勝手に投稿する機能ではなく、人が選ぶ往復を助ける仕組み。

17|綺麗な帳票を、わざと汚しておく

Recapture|開発者解説11月18日

折れ、手の影、トナー汚れに弱いOCRを試す材料を作る。ページ画像+領域の座標 → 仮想スキャンや3Dの紙変形 → 劣化画像と追従済みラベル。 一度注釈した原本から変種を作り、COCO等へ出力する。開発者の手順/コード

Apache-2.0、Python3.12、初回素材約105MB。スキャン処理はGPU不要、写真処理はOpenGLが必要。Mac/Linuxで検証、Windowsは未検証。OCR本体ではなく学習用データ作成ツールで、精度向上の実測は本稿にない。

18|靴らしい。でも、靴底だけおかしい

TRELLIS.2のLoRA実践|11月12日公開

靴の3Dデータ188点 → 16方向の画像と学習データを準備 → 形状を決める2段階だけ学習 → 調整した3D生成モデル。 質感の部分は固定し、苦手な靴底を狙って直す。Dockerと手順も公開された。Hugging Faceの実験記事

作者はA100 80GBを使い、前処理約1時間、学習7.2+3.6時間。金額は未公開。HFアカウントとDINOv3へのアクセス等が必要だ。未使用の靴9点で改善を報告するが、家具や自社商品にも効くかは別途検証となる。

19|32GBのMacへ、180Bモデルを少しずつ通す

MoE expert streaming|11月18日公開

量子化モデル+文章 → 必要な専門家層だけSSDから読み出す → ローカルの応答。 全重みを一度にメモリへ置かず、32GBのM5 MacでQwen3.8-Flash-Nextを動かした実験。著者の最適化後は約14トークン/秒だった。実験と手順

未マージのTransformers PRと専用パッケージが必要。expertだけで約49GBのディスクを使い、ほかの重みも要る。API課金はない構成だが、6K入力で25.4GiBに達した。著者自身、coding agent用途には遅いと評価する。完成アプリの紹介ではない。

20|千ページ1.33ドル。手書きは別ルートへ

Datalab Surya 2.6 Fast|11月11日更新

編集部の運用案:文書ページ → Fast/Balanced/Accurateを同じ資料で比較 → 抽出結果を見て処理先を選ぶ。 Fastは表や傾いたページで改善した一方、手書きや古いスキャンでは悪化したと開発元が公表した。公式価格・評価

Fastは千ページ当たり、学習用データ共有あり1ドル、なし1.33ドル。Balancedは3/4ドル、Accurateは7.50/10ドル。自前GPUは不要。2.6秒という中央値はモデル処理のみで、アップロード等を含まない。安い設定を全書類へ一律適用する根拠にはならない。


編集部が次に試したい、小さな3実験

以下は未実施の提案。予算は公式料金の見積りではなく、使い過ぎないための編集部提案上限だ。必要な有料プランを持っていない場合は、その費用を別に数えて着手を判断する。

実験A|同じ5秒を「再生成」と「部分修正」で比べる

権利を持つ人物動画を5秒用意し、変更を「背景だけ夜にする」に絞る。元映像、全体を生成し直した案、SwitchX等で修正した案を並べ、顔・指・輪郭・音声の変化を数える。生成は各2回まで。仮説: 採用済みの演技を残す工程なら、人物の修正箇所が減る。提案予算:追加生成費10ドルまで。

実験B|十秒の声、一語の変更

自分の声で10秒の案内を録音し、日付の一語だけをZONOSの編集で替える。全録り直し版も作り、変更前後の境目を伏せて聞き比べる。音量、息継ぎ、語尾に違和感があるかを記録。仮説: 短い修正なら、声質を保ったまま使える箇所がある。提案予算:クラウドを使う場合は5ドルまで。

実験C|同じ30ページを、安い順に流してみる

公開可能な表入り資料・手書き・古いスキャンを各10ページ用意する。Datalabの3モードで読み、あらかじめ決めた日付・金額・行見出しの一致数を比べる。合格したものを同じ帳票・条件でFastを使う候補にし、別サンプルでも確認してから適用範囲を広げる。実際の請求額も残す。仮説: 文書種類で振り分ければ、精度を落とさず処理費を下げられる。提案予算:追加API費5ドルまで。 掲載時の「学習用データ共有なし」の単価なら、30ページを3モードにかける従量分は 30÷1,000×(1.33+4+10)=0.4599ドル、約0.46ドル。最低購入額や税等を含む最終請求額ではない。編集部の合格条件は、指定した金額・日付の誤読ゼロ。各10ページの合格だけで、その資料種全体の精度は保証できない。1件でも誤ればFastへ一律に流さない。

今号の調査メモ

詳査26候補/掲載20件/保留6件。 公式資料・開発者の記録を確認した調査で、編集部の生成実行・速度・料金の実測はない。11月の記事を中心に選んだもので、今日20件の新発表があったという意味ではない。日付不明の2件は11月19日の内容確認として扱う。

追加試験では、公開記事2件をGemini無料枠で下書き化し、原文照合後に別便へまとめた。完成記事2本と収集・検証の記録。この20本とは別工程。

読者メモ

試したい記事:

手元にある素材:

自分なら変える工程:

試して分かったこと:

紙の端をタップ、または左右にスワイプでめくれます。

まず、話そう。
勝ち筋は、そこから。

無料で相談する