解决方案

Notta 从生成式 AI 兴起早期就开始利用 LLM 能力，2024 年 4 月，通过 Amazon Bedrock 调用业界领先 LLM，聚焦于会议管理的三类场景，正式上线了生成式 AI 新应用。

场景一：基于会议转录文本，高效、准确地生成会议总结和会议纪要

Notta 可实现边录音边转录，语音实时转文字，听到即看到；也可将录音文件或音频会后导入并转为文字，并支持边听边改，轻松编辑；支持一键分享音频，可将转录文本导出为 PDF、DOCX、TXT、SRT 等文件格式，分享至其它应用。

在应用 LLM 之前，Notta 仅能通过 Amazon Comprehend 提取会议关键词，无法输出完整的会议总结。采用 Amazon Bedrock 调用 LLM 之后，Notta 可基于转录文本借助大模型对会上的各方发言提炼关键信息，高效生成会议总结、会议纪要等。为方便参会人员快速精准获取会议关键信息，亚马逊云科技技术专家帮助 Notta 团队优化会议场景的 Prompt（提示词），通过加入 xml 标签来区分不同变量。例如，通过 标签标记格式内容，通过 标签标记正文，显著提升模型的响应精度，并在 Prompt 中增加语言参数，有效解决响应语言与用户期望语言不一致的问题。经过反复优化，Notta 生成的会议总结和会议纪要得到了众多使用者的认可，不少用户认为 Notta 自动总结的内容甚至比转录原文更准确。

场景二：选择合适 LLM，高效、精准、低成本实现多语种会议实时翻译和会后翻译

Notta 采用亚马逊云科技的 Amazon Bedrock，基于不同的场景需求，通过 Amazon Bedrock API 调用业界领先的与场景匹配的 LLM 模型。

• 在实时翻译场景中，在 Amazon Bedrock 上选择实时性要求高、低时延的 LLM，成本效益更好。
• 在会后翻译场景中，将音频文件上传到 Amazon EC2 G5 实例运行 Notta，并调用 Notta 的自研模型 Whisper。Amazon EC2 G5 实例是基于英伟达 GPU 的最新一代实例，与 Amazon EC2 G4dn 实例相比，G5 实例可提升 3 倍的性能，且将机器学习推理的性价比提高 40%，还可为机器学习训练的性能提升 3.3 倍；与 Amazon EC2 P3 实例相比，G5 实例可将训练成本降低 15%。G5 实例帮助 Notta 获得极高性能的基础设施，Notta 就可以高效构建自有模型 Whisper。
• 在多语种会议场景中，Notta 以前采用的是第三方翻译服务，翻译的准确度并不稳定。通过 Amazon Bedrock 访问业界领先 LLM 后，Notta 可支持实时的双语互译（日语、英语、中文简体、中文繁体、韩语、印度尼西亚语、西班牙语、葡萄牙语、爪哇语、尼泊尔语、越南语等 11 种语言）和 58 种语言的会后翻译。更重要的是，生成式 AI 的引入极大地提升了翻译准确度，给多语言会议带来无碍体验。场景三：进行会议 Agent、聊天机器人等新功能探索
  Notta 借助 Agent 打造知识共享底座，持续创新推出生成式 AI 在会议管理领域的新应用，目前 Notta 先行探索了两类应用：
• 一是会议 Agent。Agent 自动感知并提取会议的关键信息，识别会者的意图，根据识别的结果调用相关工具。目前在销售会议、敏捷项目管理两类场景同步应用 Agent 自动感知会议关键信息。比如，在销售会议中，Agent 可以对接工作流，判断下一步动作，销售人员可以通过 Meeting Agent 发送邮件邀约、分析和跟踪会议内容、调用第三方客户关系管理软件服务提供商的 API 与销售流程做对接，甚至辅助完成销售中的所有步骤；在敏捷项目管理场景中，通过 Agent 调用第三方敏捷项目管理工具的 API，将会议内容与敏捷开发流程做对接。
• 二是聊天机器人 Notta AI，可以直接与会议纪要、会议内容对话，快速查询、获取会议内容。会议期间，与会者可以基于多份会议文档进行讨论。为了提高内容搜索效率，Notta 还采用基于 OpenSearch 实现 RAG（Retrieval Augmented Generation，检索增强生成），利用 OpenSearch Service 的向量数据库功能，让 Notta 的用户可以根据关键字进行内容搜索，也可以进行语义搜索。在聊天机器人回答客户问题时，Notta AI 可高效查找和获取产品说明书、产品功能介绍、历史记录等，节省客服搜索和响应时间；Notta AI 还加入了反馈机制，对于知识库中可能存在的无效、老旧知识进行反馈和更新。亚马逊云科技全球本地化数据中心确保数据合规，保障客户符合严苛安全合规需求
  通过亚马逊云科技遍布全球的数据中心网络，确保客户数据的存储位置符合各地区的数据安全要求和法规。
• 在业务所在地区存储数据：借助亚马逊云科技遍布全球的数据中心网络，确保不同地区的用户数据严格存储在其所在地区的亚马逊云科技数据中心。例如，日本用户的数据存储在亚马逊云科技的日本数据中心，美国用户的数据则存储在亚马逊云科技的美国数据中心；
• 满足当地安全合规认证：亚马逊云科技帮助推动 Notta 通过 ISO 27001 信息安全管理、GDPR（EU General Data Protection Regulation，欧盟通用数据保护条例）、日本的 APPI（Act on the Protection of Personal Information，个人信息保护法）等安全合规认证；
• 降低数据访问延迟：亚马逊云科技的区域化存储策略不仅帮助 Notta 满足各国严格的数据保护法规，还显著降低了数据访问延迟，提升了整体服务性能；
• 保障数据安全：Notta 还采用 AWS WAF，Amazon GuardDuty，Amazon Inspector，AWS IAM，AWS Secrets Manager，Amazon Cloud Trail 等服务帮助 Notta 保障数据加密和安全存储等，使得 Notta 满足 RPM（Request Per Minute，每分钟请求数）、SLA（Service-Level Agreement，服务等级协议）以及其它安全需求。
• 此外，亚马逊云科技解决方案架构师团队向 Notta 分享领域驱动设计方法论，赋能 Notta 团队进行微服务改造，把单体应用变成微服务的应用；亚马逊云科技解决方案架构师团队还为客户引进了容器化应用改造，提高系统的可用性。