场景描述
通过庞大的货车司机网络和货源网络，快速高效地完成货物运输，是货拉拉拥有高度竞争优势的重要因素之一。随着业务的蓬勃壮大，货拉拉期望不断引入最新的人工智能、大数据等新技术来提升运营智能化水平，实现货车调度智能化，提高运力利用率。
生成式 AI 技术问世以来，货拉拉迅速成立专门项目组，评估生成 AI 的能力范围及对其业务影响后，坚定地认为，生成式 AI必将重构公司大部分面向海外的业务场景如营销类和提质增效类场景，并开始积极拥抱生成式 AI。除了产品、算法团队持续研究和推动生成式 AI 技术的应用外，越来越多面向海外客户的业务部门开始主动关注，如何应用大模型来解决和优化业务中的问题。
如何应用大语言模型服务好业务，货拉拉主要关注 3大方面：采用生成式 AI 技术所带来的成本、生成式 AI 对业务带来的收益、以及应用生成式 AI 的同时如何保障数据安全和合规。
- 成本：货拉拉海外业务广、场景多，Token 数巨大，以质检业务为例，每天有数万通电话，且质检包含多个维度，因此每月需要的 Token 数非常庞大，采用业界大模型无论是自己部署还是调用 API，成本都较高；
- 收益：如何保障生成式 AI 不同模型的效果，尤其是面对生成式 AI 可能出现的模型幻觉，在实际业务场景中如何规避？
- 数据安全和合规：货拉拉的海外业务中，涉及到海量的司机、用户数据，数据安全和合规保障是其应用生成式 AI 中最大的挑战之一。
解决方案
货拉拉海外业务部门对生成式 AI 技术的应用需求非常旺盛，目前诸多业务已经进行了探索和实践，包括
HR、PMO、邀约客服培训、质检培训、安全风控、财务、金融客服问答等 14 类场景的数十个应用，都针对海外业务基于亚马逊云科技已经部署或开始测试生成式 AI 应用。解决方案如下：
1.从模型选择与评估、提升数据质量到模型微调，端到端生成式 AI 应用创新服务让快速落地
在面向海外业务的各类场景的生成式 AI 应用部署中，货拉拉还需解决模型评估和筛选、数据准备和模型微调等问题，亚马逊云科技提供了一站式端到端的生成式 AI 服务，帮助货拉拉加速在其海外业务中的生成 AI 应用落地。
1）模型评估和筛选：针对货拉拉的海外业务流程，亚马逊云科技 AI 应用科学家先后对 10 款模型进行测试评估，评估数据包括 1000 条线上真实数据以及 LLM 生成的数据相结合，将准确率、召回率、任务完成率作为模型选择标准。以邀约质检场景邀约话术场景为例，Claude3 Sonnet 在基准测试中准确率为 0.98，精准度为 0.99，召回率为 1，F1-Score 为 0.99，横向评估中获得第一。
2）数据生成和数据质量提升：通过亚马逊云科技调用 LLM，根据基本业务流程和提示词来生成数据、清洗数据并提升数据质量，使用 Amazon Bedrock API 共生成 3000 条数据，并过滤掉轮次过短、说话主体不明确、没有模拟生成 API 接口输出的对话，以确保数据质量满足业务需求。
3）模型微调：亚马逊云科技基于货拉拉的业务需求对多款开源模型进行了微调，由于当前训练数据相对较少，因此最终采用了 Lora 的方法进行训练。此外，还尝试构造更多样化的数据及人工清洗的方式，在保证数据的质量和多样性的基础上，进行全参微调，进一步提高模型泛化能力。
2.通过亚马逊云科技 Amazon Bedrock 调用 Claude 3 模型，多模态识别让货拉拉更丝滑处理问题、提升用户体验
货拉拉的海外业务处理中，接收到的信息从原来的文字版信息，越来越多地转变为各类图文信息，接收到的图文问答、保险单比价，都需要从图片里面去解析和提取信息。货拉拉通过亚马逊云科技 Amazon Bedrock 调用 Claude 3 模型，利用其优秀的多模态识别能力进行图文问答、图文推荐、比价等，海外业务实际应用效果非常好。
比如车险比价场景中，可能接收到海外用户对于车险选择的咨询，然后收到一个截图。以前，只能借助文字去跟用户沟通，一步一步地询问各种信息、可能中间还涉及大量的解释和沟通，才能获取到足够的信息来定位问题。借助 LLM 的多模态识别，迅速根据图片解析各类数据和信息，业务人员能更及时、更清晰地了解用户的诉求、用车等相关信息，可以更快地为海外用户推荐适配需求的车险，大大加快问题处理速度，提升用户体验。
成效
1.生成式 AI 实验时间从 3 个月缩短到 6 周，15 个海外业务已部署生成式 AI 应用：通过与亚马逊云科技的通力合作，货拉拉业务的各个领域，包括针对海外业务的 14 类业务场景和数十个业务已经开始尝试采用生成式 AI，其中 15 个业务的生成式 AI 应用已经上线。利用亚马逊云科技生成式 AI 能力，货拉拉可以减少模型训练的时间，高效检验不同 LLM 与业务场景需求的匹配度，快速进行业务创新实验，将实验时间从 3 个月缩短到 6 周，将更多的时间用来提升数据的质量和精确度及优化提示词。
2.效率提升、成本降低，应用上线时间从 1 至 2 天缩短为 10 多分钟：以前货拉拉上线一项新应用或功能，可能需要一至两天。货拉拉通过构建悟空平台，集成业界主流 LLM，面向公司的海外业务，通过低代码或零代码方式快速搭建应用，利用模型组件化，可视化、采取拖拉拽式的操作，仅十几分钟就能把一项业务搭建起来，大大地促进业务上线效率。引入生成式 AI 不仅提升了业务效率，还为海外业务实现了成本节省，比如培训业务中引入生成式 AI 后，除了提升司机体验外，每年预计为培训师节省上千小时的培训时长，大大降低公司的培训成本。
3.邀约质检覆盖抽样率提升 10 倍，更高效审核对话规范性：通过大模型进行质检，可以更多地去检测发现业务运营中的问题。以前由于人力、成本的限制，质检抽样率较低。 现在，货拉拉基于亚马逊云科技的生成式 AI
能力可以将抽检率提升 10 倍，将对客服邀约人员与司机对话的规范性进行更为广泛、高效的审核，规范邀约人员话术行为，必将增强司机的体验。
快报
根据《网络安全法》实名制要求，请绑定手机号后发表评论
不错
生成式AI助力提质增效
是否应用基本的大数据分析方法就能够解决问题了？