累了，咋样能安全的使用 openai 的 api 服务呢？🤡

[HeyCaptainJack]

最近有个场景，需要使用 gpt-4o-2024-08-06 的 100% json 格式输出。我用了一些卖 openai 代理的，发现暂时还没适配这种模式。

想咨询一下大家，如何能安全的使用 openai 的 api 服务，因为之前我已经被封掉一个付费账户了

• 看有帖子讨论说，cloudflare workers 反代，也是会被封掉

或者大家有别的方法，能保证模型输出 100% 是 json 也可以，注意：是 100% json 输出。

openai 结构化输出官方文档: https://platform.openai.com/docs/guides/structured-outputs/structured-outputs

[Kite6]

之前的版本也支持指定 json 输出，只是可能达不到 100%，但这个也有解决办法，用 json 解析一下返回结果，如果不满足重新请求生成一次就行

[tap91624]

解析重试

[necomancer]

买个 vps 自己做转发,或者本地代理，买靠谱的机场

[x86]

美国 VPS+new api 去中转

[facebook47]

野卡

[bobryjosin]

用 azure 的就可以，没有限制即用即付，还是很稳的

[llcxx]

必须使用 gpt-4o-2024-08-06 的模型吗？

我这里有一个方法，必然可以生成 json ，但是需要忍受慢一些的速度。

使用 deepseek 的接口，规定 output 一定是 json 格式即可。

我的远程工作职位网站 w3offer.com 就是用的 deepseek + json output 格式方便处理。

JSON Output
在很多场景下，用户需要让模型严格按照 JSON 格式来输出，以实现输出的结构化，便于后续逻辑进行解析。

DeepSeek 提供了 JSON Output 功能，来确保模型输出合法的 JSON 字符串。

https://platform.deepseek.com/api-docs/zh-cn/guides/json_mode/

需要稳定的 openai 服务，也可以联系我 share 。

[Int100]

用 function call 可以做到 100% json ，业务就这么做的

[HeyCaptainJack]

@Int100 请问，我要翻译一个 text 文案为如下结果，要如何写这块呢，原文: We write your reusable computer vision tools. , 翻译后的结果需要如下:
{
"zh-CN": "我们编写可重用的计算机视觉工具。",
"zh-TW": "我們編寫可重複使用的電腦視覺工具。",
"en": "We write your reusable computer vision tools. ",
"ja": "あなたの再利用可能なコンピュータビジョンツールを作成します。",
}

[HeyCaptainJack]

@Int100 试着写了一下，成功过，不过还是会出现报错：

ERROR [ExceptionsHandler] 400 {"error":{"message":"Failed to call a function. Please adjust your prompt. See 'failed_generation' for more details.","type":"invalid_request_error","code":"tool_use_failed","failed_generation":"{\"translations\": {\"vi\": \"Chúng tôi viết các công cụ tầm nhìn máy tính có thể tái sử dụng của bạn\", \"zh-CN\": \"我们编写你的可复用计算机视觉工具\", \"zh-TW\": \"我們撰寫你的可重複使用電腦視覺工具\"}}"}}

[HeyCaptainJack]

@Kite6 omg ，这思路，失败了重试多次，直到解析成功对吧

[proxyai]

@HeyCaptainJack 留下你的邮箱, 给你最可靠的 AI API

[mythabc]

deepseek 的 json output 。或者在 LLM 结束之后加一个 json_repair ，或者捕获异常进行重试。

[zqqian]

用云服务的 serverless 反代还是比较稳的，也不用服务器，免费额度也够用

[hanqian]

用 openrouter 不就完了

[maymay5]

aibotpro 的开发者计划或许你可以试试

https://api.jpny.top/

[zhhmax]

https://luee.net 我自己对接的 API 中转，可以用官方 demo 请求成功返回 json 。

[zhhmax]

@zhhmax 要百分百返回 json ，说白了就是请求的 body 里面，response_format.type=json_schema ，response_format.json_schema 有完整的 json 结构定义，然后用支持的模型请求即可。至于你说的买了一些 API 代理不支持是因为他们都用的某几个开源程序。我这边的中转是我自己对接的官方 API ，支持这种请求模式，而且都是纯官方 API 转发，没有混杂逆向 API 等其他不明来源，因此能保证 100% json 输出。

[HeyCaptainJack]

@zhhmax 是的，找了几个，好多都是基于开源自己部署的，哈哈，确实不符合，兄弟你这个我今天试试，😊

[HeyCaptainJack]

@necomancer 靠谱的机场，说实话，我找了好多，也没找到完全安全的🤪，正在准备 vps 转发

[HeyCaptainJack]

@llcxx 常规的翻译任务，对模型要求并不是很高，我来试试你推荐的这个 DeepSeek ，谢谢😁

[HeyCaptainJack]

@hanqian 之前没听过，看了一下，挺全乎的，我来试试看

[HeyCaptainJack]

@maymay5 呃，找了一个其他家的用 new api 的，暂不支持

[maymay5]

@HeyCaptainJack #23 这不是 newapi 的问题，newapi 在刚发布的时候就更新了的，很久就更新了，不支持的是中转混用了模型版本，jsonschema 在请求体里只有两个模型支持，这两个模型经常会被混用，如图所示

[TimePPT]

简单的 json 结构，4o 用 json mode ，sys prompt 给出输出示例，其实准确率还可以了。不用强行 json schema

[TimePPT]

@TimePPT 另外，如果是翻译需求，甚至都不用 gpt ，国内模型很多效果也不错的

[jwangbyus]

用 Azure 的，除了部署新模型比较慢之外还是比较稳定的。