[开源] 用 Gemini 开发的小项目开源啦

[jjyyryxdxhpyy]

简介

[我知道你的宠物在想什么] 是一个基于 Gemini Pro API 构建的图片识别项目，通过上传你宠物的照片，该项目能够智能分析你的宠物的表情和环境，并推测出它们可能在想些什么。

功能特点

• 图片识别：利用 Gemini-pro-vision 的图像识别技术，能够准确地识别宠物的表情和环境。
• 表情分析：通过分析宠物的表情 Gemini-pro-vision 可以推测出宠物可能的情绪状态，如开心、惊讶、困惑等。
• 环境分析：Gemini-pro-vision 还能根据宠物所处的环境，推测出它们可能的活动场景，如户外玩耍、室内休息等。
• 自然语言处理：结合图像识别和自然语言处理技术，Gemini-pro-vision 可以将宠物的情绪和活动场景转化为可读性高的文字描述。
• 用户友好界面：提供简洁直观的用户界面，使用户能够轻松上传照片并获取宠物分析结果。

注意事项

请确保上传的照片清晰可见，以获得更准确的分析结果。 本项目仅适用于识别和分析常见宠物如猫、狗等，对于其他动物可能不具有准确性。 这是一款有趣实用的图片识别项目，让你更深入地了解你的宠物的情绪和喜好。无论是为了更好地照顾宠物，还是与朋友们分享宠物的趣事，这个网站都能为你带来愉悦的使用体验。

开源地址

https://github.com/liu-ziting/PetThoughts

可以 Fork ，改一下 Prompt 就可以是一个新应用，我改了三个，提示词分别是：

• 你是一位熟练的宠物语言翻译员，根据用户传的照片，你识别出是什么宠物，准确猜测宠物的情绪和想法，你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后，请根据宠物的语气给出宠物的“声音”，口语自然一点，用中文回答，格式如下：🐶：<这是什么宠物><宠物的想法>。用户上传的图片中，如果没有宠物，则返回“图片中没有宠物~""

• 作为一位熟练的儿童心理翻译员，我可以根据用户提供的照片来识别孩子的情绪和想法，并根据他们的肢体语言、表情和周围环境推测他们想说的话。以下是修改后的回答格式：如果图片中没有孩子：🧒：图片中没有孩子~,如果有孩子的话，我将以孩子的视角回答：🧒：<孩子的情绪>，<孩子的想法>

• 根据用户上传的照片，你需要识别出题目，按照顺序返回我正确答案就可以，如果上传的照片中没有题目，则返回“图片中没有题目~”。

希望点点喜欢有用的可以点下 Star ，这对我很重要~

[wonderfulcxm]

这个说是看图说话的应用吗

[wonderfulcxm]

不错，可以智能生成方案发朋友圈

[jjyyryxdxhpyy]

@wonderfulcxm 这个想法可以的，改一下提示词就行了

[ming61177]

获得了核心代码，嘻嘻。 `你是一位熟练的宠物语言翻译员，根据用户传的照片，你识别出是什么宠物，准确猜测宠物的情绪和想法，你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后，请根据宠物的语气给出宠物的“声音”，口语自然一点，用中文回答，格式如下：🐶：<这是什么宠物><宠物的想法>。用户上传的图片中，如果没有宠物，则返回“图片中没有宠物~""`

[hanssx]

完了，以后要面向 prompt 编程了

[fffflyfish]

牛哇，开源了，之前我还把应用分享给小伙伴

[wangyaominde]

突然感觉弄个小程序会火，up 可以试下

[monerujos123]

赞啊！

[monerujos123]

不过看了下，现在 API 免费的条件是：
Input/output data used to improve our products

Yes

所以是会收集和使用输入的。

[gonglexin]

刚做了一个仿 Instagram 的 Elixir 项目: https://ex-instagram.fly.dev/ ，也是用到了 Gemini 也开源： https://github.com/gonglexin/ex_instagram

[jjyyryxdxhpyy]

@wangyaominde 国内小程序不允许，很难搞这种

[jjyyryxdxhpyy]

@monerujos123 嗯~我的意思是我程序不收集，API 是会，我加个提示，感谢提醒

[jjyyryxdxhpyy]

@gonglexin 可以，给你 star 了

[jjyyryxdxhpyy]

@fffflyfish 感谢分享

[jjyyryxdxhpyy]

@hanssx 是这样的，这是个方向

[wangyaominde]

@jjyyryxdxhpyy 好吧，我以为只有解析没有生成就不会有政策上的风险

[guogb]

@hanssx 哈哈哈哈

[jjyyryxdxhpyy]

@ming61177 这个提示词也是 gemini 给我写的，用 AI 去写 AI

[kuber]

@jjyyryxdxhpyy 不错。如果能创建一个图片发到朋友圈就好了，有自己宠物的人一定会上瘾的。
没有看到后台是用什么开发的？

[jjyyryxdxhpyy]

@kuber node + next

[mhhya]

op 麻烦问下 Gemini-pro-vision 使用有 qps 之类的限制吗，还是说能随便用啊

[testliyu]

感觉这是很好的商业项目，怎么开源了呢

[jjyyryxdxhpyy]

@mhhya 目前是没有，未来不知道

[mhhya]

@jjyyryxdxhpyy 好的，感谢

[ReyLouis]

今天还在 Product Hunt 上看到有个产品叫 what is the cat thinking ，UI 都很像

[xiaoboai]

感觉挺棒的啊

[viazure]

哈哈，有点意思

[Rorysky]

star 了挺有意思，自己部署，需要 gemini 的账户么

[jjyyryxdxhpyy]

@Rorysky 需要，谷歌账户就行： https://makersuite.google.com/app/apikey

[lijingfu2077]

想请教一下，部署到 vercel 上运行没有问题，本地执行 npm run dev 之后上传图片解析，调用请求报错。

TypeError: fetch failed
at node:internal/deps/undici/undici:12344:11
at process.processTicksAndRejections (node:internal/process/task_queues:95:5)
at async makeRequest (F:\Ekko\AI\pet\node_modules\@google\generative-ai\dist\index.js:195:20)
at async generateContent (F:\Ekko\pet\betterchoice\node_modules\@google\generative-ai\dist\index.js:525:22)
at async Array.eval (webpack-internal:///(api)/./pages/api/upload.js:79:24)

请问能指点下吗