解决方案

面向海外客户提供服务时，德比软件通过亚马逊云科技 Amazon Bedrock 访问业界领先 LLM（Large Language Model，大语言模型），基于此构建 ChatBI。首先，借助 LLM 优秀的归因能力与上下文理解能力，可根据用户输入的自然语言进行意图识别，判断是否属于 BI 问题；其次，基于 LLM 良好的推理与归因能力，ChatBI 可根据提示词自动生成对应的 SQL 语句，普通业务人员无需编码即可自动完成自然语言到 SQL 的转换，极大降低了数据分析门槛；第三，ChatBI 还支持可视化的展示分析结果，并为业务人员提供下一个阶段的运营建议。

基于 Amazon OpenSearch Service 构建向量数据库，让数据查询更快、搜索更准确要充分释放生成式 AI 技术优势，将 ChatBI 潜能充分应用于业务，建立一个坚实的端到端数据基座，既是基础也是决定性的差异化优势，亚马逊云科技助力德比软件实现这一目标。

• 首先，在亚马逊云科技的支持下，德比软件开展了一系列数据准备工作，包括制定标准化 SQL 规范、预训练等；
• 接着，应用 Amazon OpenSearch Service 构建向量数据库，让德比软件高效查询和匹配大规模和多维度向量数据，近乎实时的⽀持添加、更新和删除向量嵌⼊，不会影响查询性能或重新索引数据，极大提升了搜索准确性与检索效率。同时，德比软件还采用了 RAG（Retrieval-Augmented Generation，检索增强生成）技术，从历史数据和外部数据中检索相关示例，作为输入提示。例如，酒店数据中包含有大量的专有名词，若用户提问中使用的名词和系统中的专有名词不一致，原来的情况是，SQL 就无法匹配到正确信息，但借助 RAG 技术，通过与外部数据库建立映射，就能匹配到正确的专用名词，从而提升 SQL 语句生成的准确性；
• 此外，采用 Amazon Titan Multimodal Embeddings 模型对大量的酒店数据进行向量化处理，将图像和短文本转换为 embedding 数字表示形式，业务实体、问答数据进行向量化匹配后，向量化数据库极大提高 BI 的数据检索速度，输出的结果更准确。亚马逊云科技强大专家团队提供 PE 和 RAG 工程化实施，让 ChatBI 发挥更大潜力、性能更优德比软件在亚马逊云科技大客户支持团队和行业解决方案架构师等团队的支持下，仅用 2 个月就完成了 ChatBI 的上线。期间，亚马逊云科技为德比软件提供了大语言模型的 PE（Prompt Engineering，提示工程）优化服务，更大限度地发挥 LLM 的潜力，使其生成更准确、和上下文相关的输出；还采用了 RAG 技术使大语言模型不再完全依赖训练数据，而是能够灵活利用外部知识，从而扩展其应用场景和能力范围。