搭建ChatGPT服务，并使用APISIX进行接口的限流保护

在云端部署一个 ChatGPT API 服务，并用 APISIX 进行安全的保护，要求提供架构图和 demo 配置（无需提供所有实现代码，演示代码即可）

(1). 注册 openai 并获取 apikey。注册方式较简单，接收验证码这一步，需要使用国外的接码平台，预计花费 1-2 元。

获取 apikey

前端做一个输入框，用于输入问题，以及展示返回的内容

这个服务暴露出去后，可能会被滥用，下面用 apisix 为该服务添加限流等安全防护

过程中如有报错，根据报错信息相应解决。

apisix 提供了很多插件，如认证，限流，可观测性，以下以限流为例，通过 dashboard 进行可视化的操作(也可以通过接口)

和之前前司使用 Sentinel 在应用内做的限流相比，使用 apisix，可以在更前面统一做限流操作，不进入业务层。

但限流底层的几种算法大同小异，可参考[之前的文章]

默认账号/密码为 admin/admin

提交后执行 curl 127.0.0.1:9090/v1/schema > schema.json

此时 5s 内连续请求接口超过一次，会返回 503 错误码及配置的错误信息

以上是较简单的单机限流 demo，如果要做集群级别的限流，需要引入集中式的存储如 redis

参考

相比于 nginx,openresty 等比较有意思的点：

apisix 支持可视化的插件编排，低代码化，让插件之间的关系更直观配置更简单

此过程中 apisix 相较 nginx 的优势:

请求会先经过一个 ip 限制插件，会判断流量是内网还是外网，如果是内网 ip 则使用内网专用的限流配置，实现精细化限流；借助 redis，实现集群级的限流

通过以下几种方式，实现动态无需 reload 即可生效的配置变更 (底层应该是借助 etcd)

(这几张图片来自网络分享，源地址已不可考。。)