中转站不能看见用户内容
网关要完成转发、计量和鉴证,但不能直接看到用户Prompt、业务数据和明文访问令牌。
传统两方加密解决的是“用户直连云端”。AI模型交易多了交易中心或中转网关,变成用户、网关、模型厂商三方协同,技术难度明显上升。
用户的Prompt和业务数据不能被中转站看见;请求必须送到约定模型;返回结果不能被夹带广告、恶意内容或私货;同时尽量不要求大模型厂商改造底层接口。
会议纪要里的核心问题,可以归纳为四个技术挑战。
网关要完成转发、计量和鉴证,但不能直接看到用户Prompt、业务数据和明文访问令牌。
客户购买高阶模型服务时,需要证明请求确实被路由到约定模型,而不是被换成低价模型。
中转服务不能在结果中插入广告、恶意内容或其他私货,需要完整性校验和异常检测。
用户、可信网关、模型厂商三方要在权限受限的情况下拼装合法请求,且尽量不改造模型厂商接口。
这些能力决定交易中心能否从“撮合平台”升级为“可信交易基础设施”。
客户不传递明文API Key,网关按企业、项目、场景分权限。
证明请求去了指定模型,降低偷换模型和中间夹带风险。
保留调用量、模型回执、服务等级和异常记录,支持争议处理。