新加坡 · RAG 准确率 · 可审计的证据

知道您的 RAG 答错的比例——并证明每个答案出自哪里。

QCRCE 为新加坡及东南亚技术团队测量并提升 RAG 与内部搜索的检索准确率。我们基于您自己的文档和真实问题进行测试,报告 recall@k 与引用准确率,并在动手构建之前与您共同约定通过/不通过的验收测试。

常见痛点

答错比答慢代价更高

RAG 系统若自信地引用了错误段落,信任会迅速流失。多数团队说不出有多少答案真正基于正确来源。

“请出示出处”正在成为要求

评审、风控团队,以及对金融机构而言的 MAS《人工智能风险管理指引》(2027 年 10 月 7 日生效),都期望 AI 按可量化阈值进行评估并留存文档。

只测英文会漏掉真实用户

本区域的员工和客户会用中文、马来语和印尼语提问。英文表现良好的检索,换成其他语言可能悄然失效。

工作方式

  1. 1

    测量

    用您的真实问题(通常 50 条)建立黄金集,并为每个答案标注来源段落;对现有系统做 recall@k 与引用准确率基线。

  2. 2

    约定

    在任何构建工作之前,共同写下验收测试:用哪些指标、什么阈值、覆盖哪些语言。不中途改标准。

  3. 3

    改进并证明

    优化分块、embedding、混合检索或重排序,用同一套测试复测,并交付附带证据的 go / no-go 报告。

服务套餐

固定范围,固定价格。价格以新加坡元(SGD)计,通过我们的新加坡企业账户开具发票。

入门套餐

RAG 准确率体检

SGD 3,800 约 1 周

  • 由您的 50 条真实问题组成的黄金集,来源段落与您的团队共同确认
  • 现有 RAG 或搜索的 recall@k 与引用准确率基线
  • 失败分析:哪些问题答错、原因是什么
  • 按优先级排列的修复计划及预计工作量
  • 可选:同一批问题的中文 / 马来语 / 印尼语评估

开工前全额预付。

套餐 A · 试点

带验收测试的 RAG 试点

SGD 8,000 2–3 周

  • 启动前以书面形式约定验收测试与阈值
  • 导入最多 5 万份文档(约 500 MB 文本类语料)
  • 分块 + embedding 流水线,并记录模型选型
  • 带来源引用的检索 API 或 notebook 演示
  • 评估报告:recall@k、引用准确率、p50/p95 延迟(至少 30 条查询)
  • go / no-go 报告、交接文档、60 分钟讲解、7 天缺陷修复支持

启动前支付 50% 定金,交付时支付其余 50%。

套餐 B

向量检索 SDK 付费试用

按需报价 2–4 周

  • 适合准确率已达标、下一步需要规模化的团队
  • 试用期内提供 QCRCE Engine GPU 向量检索 SDK/API 访问
  • 与约定基线(如 FAISS / pgvector)进行基准对比
  • 基于您的向量或合成向量进行 GPU 与 CPU 对比
  • 总结备忘录,附 go / no-go 建议

付费试用。发放访问凭证前支付 50% 定金。

评估方法

我们测量什么

recall@k
正确来源段落出现在前 k 条结果中的问题占比。标准答案与您的团队共同标注。
引用准确率
系统首先引用的段落恰好是正确文档和章节的问题占比——这正是审计人员会核查的内容。
多语言检索
用中文、马来语或印尼语提出同一批黄金问题,按同一标准评分,检验非英语用户是否获得同等质量。
延迟 p50 / p95
辅助证明:在约定环境下的中位数与尾部延迟。当瓶颈是规模而非准确率时,再考虑 GPU 检索(套餐 B)。

目标如何设定

验收测试按项目在构建之前约定。仅作示例:一个试点可设定 recall@10 ≥ 0.85、引用准确率 ≥ 0.80 和 p95 延迟 ≤ 200 ms。

以上为示例目标,并非客户项目的实际结果。

在公开文档上查看

我们的公开演示在 MAS AI 风险相关文档上用 32 条问题的黄金集运行这套方法,并公开每一个实测数字,包括未命中的问题。

合规就绪

对金融机构及其技术供应商而言,MAS《人工智能风险管理指引》(2026 年 10 月 7 日定稿,2027 年 10 月 7 日生效)要求按可量化阈值进行评估、留存可供独立评审复现的文档,并持续监控。

我们的交付物旨在支持您的证据材料:黄金集、测试结果、失败分析和运行说明,可归档到您的 AI 清单与评审记录中。

QCRCE 仅提供软件与技术评估服务,不提供法律、监管或合规意见或认证;是否满足您的义务由您的合规与法务团队判断。

资助

部分新加坡企业可能符合企业发展局 EDGE Grant 的申请条件(自 2026 年 9 月 30 日起取代 EDG 与 PSG)。是否符合条件及是否获批由新加坡企业发展局决定;该资助一般要求在申请前不得开工或付款。

我们可以为您自行申请提供报价与范围说明,但无法承诺任何补贴。如您计划申请,请先告知我们,在您提交申请前我们不会开工或开票。

数据处理

您的数据仅用于交付合同约定的套餐,绝不会用于训练公开模型。所用第三方 API 会在工作说明书(SOW)中披露,并优先选择新加坡/东南亚区域。项目结束后 30 天内删除或返还语料。

关于我们

QCRCE 是一家位于新加坡的小型软件与技术咨询公司,专注于 RAG 准确率、检索评估与向量检索。公司由 Mark(Ma Weijia) 创立并运营,他亲自参与每一个项目。

我们只提供软件与咨询服务,不提供金融或受监管的咨询服务。

公司信息

公司法定名称QCRCE Pte. Ltd.
UEN(统一实体编号)202630091K
地址68 Circular Road #02-01
Singapore 049422
创始人Mark (Ma Weijia)

联系我们

告诉我们您的 RAG 或搜索系统需要回答什么、知识存放在哪里。我们会回复您是否有合适的套餐。