03danielwen

商汤发布 SenseNova 6.8 Code2Video:把动态字体、图形动画和知识讲解写成代码

  •  
  •   03danielwen · 1 day ago · 774 views

    做动态字体或讲解动画,画面里经常有明确的文字、位置和运动关系:小球从 A 点到 B 点,走什么线,速度多快

    像这类需求,传统的 text to video 模型基本上实现不了,不是说能力不够,而是底层技术实现就不一样

    无论是 Seedance 还是 runway ,都是生成一个一个像素点,很难工程化;

    商汤最新发布的 SenseNova 6.8 Code2Video ( 27B )模型处理这类需求的方式是写代码,再用代码制作视频

    有点类似于 Opus5.5 做的视频,还挺有意思,分享给大家:

    GitHub

    https://github.com/OpenSenseNova/SenseNova-6.8-Code2Video

    在 HF 上模型权重也开源了:

    https://huggingface.co/sensenova/SenseNova-6.8-Code2Video

    直接看案例:

    这段是字体和图形之间的转换。对标题动画、产品介绍这类内容,文字本身就是画面的一部分,排版和时间安排都需要一起考虑。

    模型特点可以概括为几条:

    • 需求转代码:根据视频描述编写代码,制作动态字体、图形动画或讲解视频。
    • 修改已有结果:通过自然语言调整颜色、运动、时间安排和场景元素。
    • 参考视频重建:根据已有视频分析布局和运动,重建成可继续修改的代码。
    • 创作 Skill:引导需求细化、预览和修改,把宽泛的想法变成具体视频方案。

    时钟阵列对应的是元素协同。每根指针的动作都简单,合在一起才形成大数字。这类规则明确的动画,很适合拿来观察代码生成的效果。

    甲烷燃烧这段把反应物和生成物的变化画出来,是知识讲解方向的例子。这里展示的是表达形式,具体科学内容仍需要单独核对。

    比成片更值得展开的是:第一版出来之后,怎么继续改?下面是 brief 里的两组官方案例。

    案例一:在已有翻页牌动画上连续修改。

    第一版是 20 秒的复古机场提示牌,文字通过翻片切换出现。

    第一次修改要求保留文字、时间安排和翻页机制,换成粉色墙面、金色边框、薄荷绿翻片的酒店大堂.成片效果如下⬇️

    第二次修改在这个版本上增加飞机和旅客。要求保留已有设计,让飞机经过上方、旅客从前景走过,同时避开提示牌上的文字,效果如下⬇️

    案例二:从参考片重新写代码,再改品牌和配色。

    参考片是 Forma 的产品宣传视频,只输入 mp4 文件,别的一律没有

    任务是分析参考片的布局与运动,再编写代码重建,并把名字换成 KITE 、画布换成浅绿色 也不用大段的其他的 prompt 和 skills ,成片直接如下⬇️

    说实话挺震惊的,模型能很好的理解原视频的结构,特别是元素之间的层级关系

    所以这里的 [复刻] 是重建一份新的代码实现,并不等于恢复原片的工程文件。对想参考某种产品演示节奏、再做自己版本的人,这个区别需要注意一下哈

    通用代码模型也能写动画。Code2Video 是否更省修正次数、局部修改能否保住其他内容,还需要结合代码和完整记录比较。这些 GIF 展示的是官方案例的视觉结果。

    INT4 、INT8 量化版本计划后续提供

    1 replies  •  2026-10-28 08:19:37 +08:00
    sillydaddy
        1
    sillydaddy  
       23h 31m ago
    看宣传视频,风格很像 opus5.5 做的视频,特别是“叮”的那个声音。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1611 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 23:50 · PVG 07:50 · LAX 16:50 · JFK 19:50
    ♥ Do have faith in what you're doing.