【交流分享】本地模型上云

康哥

本帖仅做技术交流分享，就不放完整教程了，毕竟这套玩法对大多数人来说也用不上。

最近在给论坛开发一款新插件，主要是解决人工审核内容效率低、标准不统一的问题。
插件会自动抓取帖子和评论内容，通过 AI 进行违规内容识别分析。

调试阶段 API 调用量又特别大，线上效果好的模型成本太高，普通小模型又达不到预期，索性就直接在本地跑模型。

我用 LM Studio 本地部署了一个 9B 的小模型，用来调试插件刚刚好。
但问题也来了：云端服务器没法直接调用我本地机器上的模型 API。

后来想到一个简单实用的方案 — 用 frp 做内网穿透，把本地模型服务端口映射出去，云端服务器直接访问穿透后的地址，就能正常调用本地大模型接口了。

整体下来成本极低、调试灵活，对个人开发者来说，算是一个很实用的省钱思路。


APP第三批内测即将开始了，有时间的小伙伴可以来参加一下

紫浩

沙发

RMNB

第二

鬼才同学

学到了，还是康哥聪明，这都想得到

ruolin

ai还是太多作用了

秋枫Mod

怎么报名内测

director_mark

什么时候第三波内测开始啊，就说一个即将开始但不知道具体时间呢

狗笑

为啥都是套件而不是直接用llama.cpp

dmit

申请参与内测