0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI大模型快速生成题库-助力业务人效提升10+倍

京东云 ? 来源:jf_75140285 ? 作者:jf_75140285 ? 2024-08-19 15:08 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

一 现状·问题

1、培训考核涉及的文件数量较多

当前,京东航空公司维修部门面临着人员规模的快速增长和持续的培训需求。根据民航局的规定,维修培训必须确保所有维修人员都能够完成对飞机维修相关文件的学习,这包括维修方案、维修工程管理手册、工作程序手册等共计12本手册以及民航局发布的各类明传电报、维修工程部门发布的维修提示文件MT和技术通告文件TA等内容。这不仅适用于新招聘人员的初始培训,复训,而且每当手册更新时,都需要进行差异化培训。以上内容的培训都属于知识掌握类培训,经过近两年的运行,业务侧发现无论是课堂培训还是自学培训,培训效果都不太好,即员工常常无法在完成培训后,全面掌握所需要掌握的知识或程序要求。因此维修系统在今年对此类培训进行了改革,计划通过“以考促训”的方式提高培训效果,即通过编制考题覆盖所有需要掌握的知识点,要求受训人员通过反复做题,并在做题的过程中查询相关手册、文件等资料,最终达到100%掌握知识点的目标。按此改革计划,就需要培训分部根据每次培训材料编制海量的题库,相对于原有题库将呈指数倍增加,而且还需要实时根据资料的更新去更新对应的题目和答案。

2、培训考核涉及的文件变动频次较高、应用场景较为频繁

目前,维修系统需考核的手册类文件约12本,考题量需求约2400道;涉及的局方文件、维修发技术类文件约600条,且以20条/每月的速度增加,涉及的考题约3000道。

培训场景 频率
每月平均开展手册类培训次数 8~10次
每月开展技术类文件培训次数 8次
每月开展岗位授权类考试、技术等级评定、各类安全活动如知识竞赛 1次

以上培训场景每次均需对历史文件进行评估,对考题库进行更新修订。

3、人工拟定题目费时费力

为提高维修人员对手册程序的掌握程度,现有的培训有效性评估手段将从“一次考试机会,70分及格”转向“考试机会不限,但需满分及格”,为此需不断扩充题库数量、优化题库质量,以确保维修人员逐步熟练掌握手册中的各项要求。根据维修系统的文件数量、变动频次和应用场景,预计在2024~2025年每周需安排24时/人次梳理更新已有题库、增加新题库,全年预计增加工时1248时,需增编1人以免影响其他培训管理工作的开展。

4、无法评估现有题目有效性

题库中题目的数量快速增长。但是一旦依据的手册文件发生改版变更,原有题目是否依然正确且有效是存疑的,这需要人工投入大量时间对题库中的题目进行评估和复核,该工作量随着题库规模的增大,已经变为一项几乎不可能完成的任务。

新拟定的试题和现有题库中的试题相比,是否是重复性的试题?也无人力资源投入进行分析和判断,从而进一步导致题库规模的无节制增大,成为了一个死循环。

二、需求分析

将培训管理人员从这种低效、工作量大、技术含量低的工作中释放出来,聚焦更高价值的工作:需要根据指定的材料文件,自动生成试题,包含单选题、多选题、判断题。生成的试题对比现有题库,重复率不得高于设定值。对现有题库进行定时识别分析,判断是否存在失效风险,若和手册文件不匹配,则生成修订意见,提醒培训管理人员进行复核确认。

三、采取措施

采用向量库+大模型的方式,构建题库生成助手1、采用向量库,存储对文件材料进行向量化存储,从而实现通过简单指令快速召回相关手册的内容。2、使用大模型的自然语言处理能力,根据提供的手册内容及试题生成的要求,生成试题。

四、实践步骤

1、工具选择

大模型能力建设选择采用集团推出的AutoBots平台进行建设,该平台通过配置化的方式进行大模型、知识库、插件的快速搭建和集成,促进大模型场景的快速落地:

?文件向量化方便快捷:该场景要求文件更新/新增的时候,能够及时进行向量库更新,以便能够生成试题使用。AutoBots平台提供配置化的向量库搭建能力,且打通了JoySpace,能对JoySpace中的文件快速进行解析并保存到数据库中,同时支持图片和表格的解析能里。在文档发生更新时,自动更新向量库的内容。解决了独立搭建时需要人工进行文件解析处理的问题,且解析和召回的准确度更高。

?知识召回准确:AutoBots平台算法团队,对向量化的过程进行独立模型搭建,且算法调优,准确度得到保障。

?流程编排能力:AutoBots平台支持通过流程编排的方式,快速对多个大模型、知识库、插件、文档解析等能力进行集成构建,支持复杂场景的实现。

2、整体流程设计

wKgaombC73qAJwgkAAFH4mhwkSs503.jpg

业务老师将文件材料上传至joypace上,Autobots自动将文件进行解析并存储在向量库中。采用培训系统作为功能载体,业务老师在系统上输入指令包含题目类型、题目难易程度、题目数量、知识范围等,机务系统后台进行大模型指令组装,调用Autobots平台上已调试好的大模型接口,进行生成结果的获取,并以预览的方式展示给用户。用户对于采纳的试题可一键加入题库。AutoBots平台上,先根据用户的指令,从向量库中召回相关知识。然后大模型根据提供的知识和要求进行试题的生成,并以JSON的格式进行结果返回。

3、大模型流程设计

采用AutoBots平台的流程编排能力,进行大模型能力的构建。

wKgZombC73uAPEhrAAL9muarmo0353.png

3.1 接收指令

接受指令中仅包含1个参数query,及为用户下发的指令,其中包含知识范围、题目类型、试题数量、难易程度等。(若直接通过接口调用的话,也可以拆解为多个参数,以便后续流程使用)

3.2 知识召回

知识召回节点的目的在于从向量库中,召回本次生成范围所需的相关知识,比如某本手册等。该节点会生成一个outputList列表,其中即为相关的知识。

3.3 大模型试题生成

通过大模型,结合召回的知识和试题生成的要求进行试题生成,由于需要和业务系统对接,所以需要对生成结果的格式进行指定,提示词如下:

# 角色

你是一位专业的题库专家,擅长根据{{document}}的内容按照{{question}}要求生成对应题型的试题。你的专业知识和丰富经验使你能够准确地理解和转化用户的需求,生成满足要求的题目和答案。

## 技能

### 技能1: 生成单选题

- 根据用户提供的内容,生成单选题。

- 保证每个单选题至少有四个选项。

- 选项编号按照ABCD排列

- 输出格式:{"type":"固定值:singleChoice","question": "题目描述","options": [{"optionName":"选项编号","optionContent":"选项描述"},{"optionName":"选项编号","optionContent":"选项描述"}],"correctAnswer": "正确选项编号"}

### 技能2: 生成多选题

- 根据用户提供的内容,生成多选题。

- 保证每个多选题至少有四个选项。

- 选项编号按照ABCD排列

- 输出格式:{"type":"固定值:multipleChoice","question": "题目描述","options": [{"optionName":"选项编号","optionContent":"选项描述"},{"optionName":"选项编号","optionContent":"选项描述"}],"correctAnswer": ["正确选项编号1", "正确选项编号2"]}

### 技能3: 生成判断题

- 根据用户提供的内容,生成判断题。

- 输出格式:{"type":"固定值:trueOrFalse","question": "题目描述","correctAnswer": "Y or N"}

### 技能4: 生成简答题

- 根据用户提供的内容,生成简答题。

- 输出格式:{"type":"固定值:shortAnswer","question": "题目描述","correctAnswer": "正确答案"}

## 约束:

- 只生成与用户提供内容相关的题目。

- 必须遵守指定的输出格式,并以JSON数组的格式整合返回结果,且不要包含json前缀。

- 保证每个题目的描述在100字以内。

- 保证每个选项的描述在50字以内。

- 保证每个题目的正确答案在50字以内。


3.4 结果返回

该节点为结果节点,像调用方返回最终的结果,由于本场景仅需最终生成的试题,因此直接输出大模型试题生成节点的结果即可:{{output}}。

3.5 效果

指令请根据CCAR-396-R3民用航空安全信息管理规定中对信息报告的相关要求,生成5道单选题。

知识库召回结果:

wKgaombC73yAQ2dPAAMKz80UEiE055.png

?

大模型生成结果:

[
    {
        "type": "singleChoice",
        "question": "根据CCAR-396-R3规定,民航局对在民用航空安全信息管理工作中做出突出贡献的单位和个人给予什么?",
        "options": [
            {
                "optionName": "A",
                "optionContent": "罚款"
            },
            {
                "optionName": "B",
                "optionContent": "表彰和奖励"
            },
            {
                "optionName": "C",
                "optionContent": "警告"
            },
            {
                "optionName": "D",
                "optionContent": "培训"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根据CCAR-396-R3规定,紧急事件发生后,事发相关单位应当在事件发生后多少小时内填报民用航空安全信息报告表?",
        "options": [
            {
                "optionName": "A",
                "optionContent": "6小时"
            },
            {
                "optionName": "B",
                "optionContent": "12小时"
            },
            {
                "optionName": "C",
                "optionContent": "24小时"
            },
            {
                "optionName": "D",
                "optionContent": "48小时"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根据CCAR-396-R3规定,民用航空安全信息工作实行什么原则?",
        "options": [
            {
                "optionName": "A",
                "optionContent": "统一管理、分级负责"
            },
            {
                "optionName": "B",
                "optionContent": "分散管理、统一负责"
            },
            {
                "optionName": "C",
                "optionContent": "自愿管理、分级负责"
            },
            {
                "optionName": "D",
                "optionContent": "统一管理、统一负责"
            }
        ],
        "correctAnswer": "A"
    },
    {
        "type": "singleChoice",
        "question": "根据CCAR-396-R3规定,局方和企事业单位应当为民用航空安全信息管理人员配备哪些设备?",
        "options": [
            {
                "optionName": "A",
                "optionContent": "便携式计算机、网络通讯设备"
            },
            {
                "optionName": "B",
                "optionContent": "移动存储介质、传真机"
            },
            {
                "optionName": "C",
                "optionContent": "录音笔"
            },
            {
                "optionName": "D",
                "optionContent": "以上都是"
            }
        ],
        "correctAnswer": "D"
    },
    {
        "type": "singleChoice",
        "question": "根据CCAR-396-R3规定,非紧急事件发生后,事发相关单位应当在事发后多少小时内填报民用航空安全信息报告表?",
        "options": [
            {
                "optionName": "A",
                "optionContent": "12小时"
            },
            {
                "optionName": "B",
                "optionContent": "24小时"
            },
            {
                "optionName": "C",
                "optionContent": "48小时"
            },
            {
                "optionName": "D",
                "optionContent": "72小时"
            }
        ],
        "correctAnswer": "C"
    }
]

4、业务系统集成

wKgaombC74GAWYtPAALeNlQlx9A681.png

生成条件采用结构化的方式,方便用户精准的识别到其需要填写的内容,从而促进指令下发的准确度,保证试题生成的质量。对于生成的结果,可一键加入题库,供后续使用。

5、持续升级

5.1 支持大批量试题生成

首次进行场景0-1的建设,因此对单次试题生成的数量进行了限制,避免资源消耗过大。后续会根据使用情况逐步放开,支持100道/次以上的生成规模。

5.2 支持针对于整份文件的生成

基于向量库知识召回的方式进行实现的方式,由于向量库进行知识召回返回的是TOP N,因此势必会存在内容缺失,该种方式更加便于针对文档中的部分内容进行试题生成。后续将通过文件识别的方式,直接解析文件,根据整份文件内容进行生成。

wKgZombC74KAH4vfAALXmJUMuVY511.png

5.3 生成的试题增加重复率限制

在试题生成节点之后,增加重复率识别的判断,若存在重复率不满足条件的试题,则从结果中剔除,并再次进行补充生成。

5.5 现有题库有效性识别

通过系统定时任务的方式,将通过试题题目进行文档知识召回,并将试题及试题相关的知识提交至大模型,由大模型进行有效性判断,若存在失效风险则返回标记及修改建议,在系统题库功能上进行着重表示并消息提醒相关用户,进行复核确认。

五、效能提升

wKgaombC74OADKGHAAC9mKS8eVE075.png

六、简要总结

通过AI大模型帮助用户进行培训试题的生成,在一定程度上将用户从低效、低技术含量、大工作量中解放出来,是面向用户痛点的一次尝试。同时通过该场景将大模型的能力和业务场景及工程系统结合了起来,让用户得到感知,也便于后续更多的大模型实践场景的发掘和落地。

该案例不仅用在航空领域,在其他诸多需要生成试题,生成问卷等相关场景方面都可进行参考和尝试。当前现在试题生成能力也仅是实现在从0到1的落地建设,能力需要不断的打磨和完善,后续会逐步进行1到100,100到∞的升级。

?审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI大模型
    +关注

    关注

    0

    文章

    382

    浏览量

    709
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    睿海光电800G光模块助力全球AI基建升级

    18%。 智算中心建设:与国内AI独角兽合作,提供支持液冷散热的800G模块集群,助力其大模型训练效率提升30%。 边缘计算网络:在北美某5G运营商边缘节点中,基于DML方案的SR8模
    发表于 08-13 19:05

    信而泰×DeepSeek:AI推理引擎驱动网络智能诊断迈向 “自愈”时代

    网络智能诊断平台。通过对私有化网络数据的定向训练,信而泰打造了高性能、高可靠性的网络诊断模型,显著提升AI辅助诊断的精准度与实用性。该方案实现了网络全流量深度解析能力与AI智能推理分
    发表于 07-16 15:29

    SAP与亚马逊云科技推出AI联合创新计划,打造生成AI解决方案,助力客户应对市场波动与供应链复杂性

    北京 2025年5月26日 /美通社/ -- 在SAP蓝宝石大会上,亚马逊云科技与SAP宣布启动全新的AI联合创新计划,帮助合作伙伴构建生成AI应用和智能体,助力客户
    的头像 发表于 05-26 16:54 ?268次阅读

    SAP与亚马逊云科技推出AI联合创新计划,打造生成AI解决方案, 助力客户应对市场波动与供应链复杂性

    北京 ——2025 年 5 月 26 日 在SAP蓝宝石大会上,亚马逊云科技与SAP宣布启动全新的AI联合创新计划,帮助合作伙伴构建生成AI应用和智能体,助力客户
    发表于 05-26 11:44 ?927次阅读

    DevEco Studio AI辅助开发工具两大升级功能 鸿蒙应用开发效率再提升

    带来了前所未有的智能问答体验。 RAG增强型与传统生成AI的关键差异: 图2:DeepSeek模型增强RAG能力前后效果对比图 升级点2:新增代码解释功能,提升初学者开发效率 针对
    发表于 04-18 14:43

    首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手

    PIX GP模型的整合,并且针对模型进行全链路微秒级分析,以确保最佳的端到端性能表现。在双方的整个合作流程中,开发效率提升了30%。 天玑AI生态同样拓展到了智能座舱领域。联发科和绝影
    发表于 04-13 19:52

    适用于数据中心和AI时代的800G网络

    随着人工智能(AI)技术的迅猛发展,数据中心面临着前所未有的计算和网络压力。从大语言模型(LLM)训练到生成AI应用,海量数据处理需求推动了网络带宽的
    发表于 03-25 17:35

    聚云科技荣获亚马逊云科技生成AI能力认证

    Bedrock等技术,从应用范围、模型选择、数据处理、模型调优到应用集成与部署等方面,助力企业加速生成AI应用落地。此外,聚云科技还基于
    的头像 发表于 02-14 16:07 ?478次阅读

    聚云科技荣获亚马逊云科技生成AI能力认证 助力企业加速生成AI应用落地

    、数据处理、模型调优到应用集成与部署等方面,助力企业加速生成AI应用落地。此外,聚云科技还基于亚马逊云科技打造RAGPro企业知识库、AI
    发表于 02-14 13:41 ?187次阅读

    NVIDIA推出多个生成AI模型和蓝图

    NVIDIA 宣布推出多个生成AI 模型和蓝图,将 NVIDIA Omniverse 一体化进一步扩展至物理 AI 应用,如机器、自动
    的头像 发表于 01-08 10:48 ?730次阅读

    Google两款先进生成AI模型登陆Vertex AI平台

    新的 AI 模型,包括最先进的视频生成模型Veo以及最高品质的图像生成模型Imagen 3。近日
    的头像 发表于 12-30 09:56 ?708次阅读

    NVIDIA推出全新生成AI模型Fugatto

    NVIDIA 开发了一个全新的生成AI 模型。利用输入的文本和音频,该模型可以创作出包含任意的音乐、人声和声音组合的作品。
    的头像 发表于 11-27 11:29 ?897次阅读

    浪潮信息:元脑企智EPAI助力金融大模型快速落地

    将浪潮信息在AI算力底座建设、大模型开发领域积累的成熟、成功经验工具化,助力金融机构又快、又稳地部署生成AI应用,
    的头像 发表于 09-20 16:07 ?761次阅读
    浪潮信息:元脑企智EPAI<b class='flag-5'>助力</b>金融大<b class='flag-5'>模型</b><b class='flag-5'>快速</b>落地

    NVIDIA CorrDiff生成AI模型能够精准预测台风

    在 NVIDIA GPU 上运行的一个扩散模型向天气预报工作者展示了加速计算如何实现新的用途并提升
    的头像 发表于 09-13 17:13 ?1387次阅读

    GE医疗与亚马逊云科技达成战略合作,通过生成AI加速医疗健康领域转型

    GE医疗已选择亚马逊云科技作为其战略云服务合作伙伴,致力于推出全新的定制化基础模型,加速创新医疗应用快速开发。 ? GE医疗将利用亚马逊云科技的机器学习和生成AI技术,训练和部署临床
    发表于 08-29 16:38 ?449次阅读