科技日報記者 楊雪

2026馬年春晚為大家?guī)硪粓雒逼鋵?shí)的“藝術(shù)+技術(shù)”盛宴。舞美設(shè)計(jì)中，AI、AR、XR等技術(shù)手段的靈活運(yùn)用，在虛實(shí)之間營造出“人在景中、景隨人動”的沉浸立體式視覺效果。大模型首次深度參與到多個春晚節(jié)目的創(chuàng)意構(gòu)思與視覺呈現(xiàn)環(huán)節(jié)，與導(dǎo)演組、制作團(tuán)隊(duì)共同探索了生成式AI在大型舞臺藝術(shù)創(chuàng)作中的應(yīng)用邊界。

據(jù)報道，此次大模型視頻生成、圖像生成、空間視頻等技術(shù)支持由火山引擎提供。記者從字節(jié)跳動了解到，Seedance2.0推出之前，就在為多個春晚節(jié)目進(jìn)行深度定制，春晚也是Seedance2.0的第一個用戶。那么，大模型技術(shù)到底如何參與春晚舞臺的藝術(shù)創(chuàng)作？3D數(shù)字分身的奇幻舞臺是怎樣實(shí)現(xiàn)的？“AI互動”是什么，與過去搖一搖搶紅包又有啥區(qū)別？

第一問：大模型技術(shù)如何參與春晚舞臺的藝術(shù)創(chuàng)作？

以節(jié)目《馭風(fēng)歌》為例，歌手身后的背景是一幅水墨畫風(fēng)格的視頻畫面。這是本次春晚AI參與度最深、技術(shù)挑戰(zhàn)最大的節(jié)目之一。讓水墨風(fēng)格的素材在舞臺背景畫中靈動起來，是對模型的國風(fēng)美學(xué)理解和泛化能力的巨大考驗(yàn)。此前，很多國際領(lǐng)先的視頻生成模型都難以理解中國水墨畫的構(gòu)圖和邏輯，生成視頻容易出現(xiàn)變形。

seedance2.0不僅精準(zhǔn)保持了水墨畫的風(fēng)格，還保證了素材動態(tài)的舒展與自然，做到“形神兼?zhèn)洹??；鹕揭嫦嚓P(guān)負(fù)責(zé)人介紹，這得益于多模態(tài)視頻生成能力。比如，模型的物理特性遵循，讓每匹馬的奔跑都遵循自然規(guī)律，動作流暢無僵硬感，加速與減速符合物理邏輯，節(jié)奏充滿力量感與韻律；語義理解能力的顯著增強(qiáng)，讓模型可以對動作、表情、運(yùn)鏡、文字內(nèi)容精準(zhǔn)執(zhí)行，精準(zhǔn)響應(yīng)“輕輕地”“再輕一點(diǎn)”等動態(tài)副詞，根據(jù)細(xì)節(jié)需求調(diào)整每個畫面；模型能同時處理圖片、視頻、音頻等多種素材，訓(xùn)練中加入大量中國傳統(tǒng)文化語料（京劇、水墨、傳統(tǒng)繪畫），讓模型理解水墨藝術(shù)邏輯。

在視頻生成前，靜態(tài)的關(guān)鍵幀和分鏡設(shè)計(jì)則由豆包圖像創(chuàng)作模型Seedream4.5完成。它能夠深刻理解水墨畫的藝術(shù)風(fēng)格，并根據(jù)導(dǎo)演的草圖布局，生成兼具原畫神韻與新構(gòu)圖的靜態(tài)圖像，為后續(xù)的視頻生成提供了高質(zhì)量“藍(lán)本”。

第二問：3D數(shù)字分身的奇幻舞臺是怎樣實(shí)現(xiàn)的？

在節(jié)目《夢底》中，演員實(shí)現(xiàn)了“多個自己”在舞臺上不同位置同時表演的震撼場面。當(dāng)鏡頭從側(cè)面掃過時，能清晰看到每一個數(shù)字分身側(cè)臉的輪廓和光影，而非一張簡單的“紙片人”。

這種“真人3D克隆”的視覺效果來自火山引擎空間視頻技術(shù)。據(jù)介紹，首先，演員在專業(yè)環(huán)繞式采集棚中完成表演，現(xiàn)場的70臺工業(yè)級高分辨率相機(jī)陣列會從不同角度同步捕捉其動態(tài)，為后續(xù)的四維重建提供高質(zhì)量、多視角的原始視頻數(shù)據(jù)。然后，這些數(shù)據(jù)被送入云端，通過火山引擎自研的空間視頻4DGS（4D高斯?jié)姙R）重建算法，將演員的表演重建為4D數(shù)字資產(chǎn)。最后，這些資產(chǎn)導(dǎo)入Unreal Engine（UE）或Unity等主流游戲引擎，根據(jù)現(xiàn)場導(dǎo)播系統(tǒng)和燈光控制臺傳來的實(shí)時數(shù)據(jù)，進(jìn)行實(shí)時同步渲染，最終將虛實(shí)結(jié)合的畫面輸出到直播流中。

虛擬的數(shù)字人與現(xiàn)場真實(shí)燈光“天衣無縫”的背后，是一套被稱為“DMX”的舞臺燈光控制協(xié)議?；鹕揭嫱ㄟ^實(shí)時轉(zhuǎn)譯現(xiàn)場的DMX信號，驅(qū)動虛擬場景中的虛擬燈光，使其與物理燈光毫秒級響應(yīng)，從而渲染出完全同步的光影效果，確保數(shù)字人“活”在真實(shí)的環(huán)境中。

同時，結(jié)合豆包的Seed3D和DA3模型：前者提前為演員的每一幀生成一個簡化的、不可見的“幾何外殼”，渲染時，系統(tǒng)只需計(jì)算這個極簡“外殼”的影子，計(jì)算量大幅降低，渲染效率大幅提升；后者為光影計(jì)算提供了極穩(wěn)定和準(zhǔn)確的“先驗(yàn)知識”，從根本上保證了演員在近景下皮膚質(zhì)感與光影過渡的細(xì)膩真實(shí)。

第三問：“AI互動”是什么，與過去搖一搖搶紅包有啥區(qū)別？

傳統(tǒng)的互聯(lián)網(wǎng)互動遵循預(yù)設(shè)規(guī)則——類似一個自動售貨機(jī)，用戶點(diǎn)擊一個按鈕，系統(tǒng)從預(yù)先準(zhǔn)備好的貨架上取出一個確定的商品。這個結(jié)果是有限的、可窮舉的，系統(tǒng)只需做好高并發(fā)的“存取”操作。

豆包App在春晚提供的AI互動則更像一個能夠自由創(chuàng)作的機(jī)器人。據(jù)介紹，它能先感知、再規(guī)劃、后行動。首先“聽懂”用戶的開放式指令，比如“給我生成一個馬年頭像”“寫一段拜年祝福語”等，并能感知多模態(tài)的信息，如用戶上傳自己的圖片。接收到指令后，自主“規(guī)劃”一個復(fù)雜的執(zhí)行鏈路，例如生成一張圖片可能需要依次調(diào)用意圖理解模型、安全審核模型、圖片生成模型等多個模型和工具。最終執(zhí)行規(guī)劃，實(shí)時生成前所未見的、高度個性化的內(nèi)容（文字、圖片等），并將結(jié)果呈現(xiàn)給用戶。

這種開放式、實(shí)時生成、多模態(tài)的特性，正是AI Agent（智能體）的核心能力，也構(gòu)成了“AI互動”與傳統(tǒng)“固定規(guī)則交互”的本質(zhì)不同，為每一個用戶，在每一個瞬間，進(jìn)行一次獨(dú)一無二的“實(shí)時創(chuàng)作”。