开源一个使用 gemini-pro 解析抖音视频内容并转文字的一个小东西

[xyy003]

开源地址：https://github.com/disingn/cliptalk 支持：

• 抖音去水印
• 抖音视频转文本（使用 gemini-pro-vision ）
• geminikey 随机调用（多个）

由于没啥时间，就没写 web 界面，后续有时间会完成 web 界面，以及兼容 gpt4v 和更多的视频平台

ps：本人菜鸡，水平有限，大佬勿喷！

兼容 GPT4v 了，可以自己试试
消耗有点快，不过效果要比 gemini 好一点。

[taxue67marx]

不错啊，写个小程序调用你写的接口，有空试试

[simo]

赞一个
不过，抖音接口那个，bogus 一直固定就行？

[tool2d]

看了源代码，表示脑洞很大。新知识又增加了。

[xyy003]

@taxue67marx 好 写的比较水

[xyy003]

@tool2d 之前有个外国的博主使用 4v 来分析视频 跟风尝试了一下

[xyy003]

@simo 不知道后面变不变 抖音去水印那部分是我 copy 别人的

[unco020511]

star 了.视频转文本是啥意思,是指总结视频内容吗,还是指视频中语音识别自动添加字幕

[xinyana]

@unco020511 看了源码，根据视频截图分析内容，非常好的思路！

[xyy003]

@unco020511 截取视频帧然后使用 gemini-pro-vision 进行识别分析内容，最后使用 gemini-pro 整理整个视频的内容

[mjchow]

这个是截取了视频部分 jpeg 图片来进行分析，如果图片少的话是不是分析会不大准确？ 不过确实是挺好的思路，厉害！

[xyy003]

@mjchow 大致的效果还可以，可以把切片再细致一点 现在我是 5s 截取一次

[kylebing]

你头像是个什么玩意，看着挺有意思的。

[xyy003]

@kylebing v2 的吗 ai 生成的一个机器人骷髅头

[kylebing]

@xyy003 啊，我以为是一个数码产品的外观图。

[xyy003]

@kylebing 哈哈哈哈

[dada88xyxy]

我一直想搞一个，用 ai 来读短视频，然后做一个网页，把短视频里面的文字抽出来，放在网页上面，页面的底部就可以跳转到原视频。痛点是解决搜索问题，很多时候其实视频里面有谈到我想要的关键词，但是无奈视频搜不精确，如果把视频的文字都抽出来，应该可以

[xyy003]

@dada88xyxy 把音频提取出来，然后转录。后面我写个对应的接口好了

[Hozoy]

如果抽帧识别的话，感觉会不太准确，同类的通义听悟是先把视频转文字，再从文字提取信息总结。。我感觉两个结合起来效果会更好

[xyy003]

@Hozoy 可以 这个会加上

[xyy003]

@Hozoy 一开始是针对那种只有画面的视频 哈哈哈哈哈

[fruitmonster]

现在失效了是么？