大模型“玩”《黑神话：悟空》比人类强吗 全球报资讯
【资料图】
人工智能大模型下围棋已不是新鲜事，玩电脑游戏水平如何?不久前，淘天集团未来生活实验室算法工程师，尝试利用多模态大模型体验国产电脑游戏《黑神话：悟空》，探索大模型在特定场景中的能力边界，取得令人惊喜的效果。相关研究成果已上线论文预印本网站arXiv。
《黑神话：悟空》是典型的动作角色扮演类游戏。在当前大模型研究领域，有不少研究者选择将该类游戏作为研究平台，采用纯视觉输入、复杂动作输出的模式，测试大模型在特定场景下的性能表现。其中，纯视觉输入是指模型仅通过理解和分析游戏截图进行决策，而复杂动作输出则需要模型生成并执行复杂而连续的动作，如战斗场景中的精确操作。
想要让多模态大模型控制游戏角色，要克服两大困难。一是直接视觉输入的挑战。由于大模型所需的环境数据不一定能通过游戏API(应用程序编程接口)获取，因此对于那些需要深入理解游戏界面的大型游戏而言，学习从视觉输入中进行推理是一种更直接的策略，这给大模型带来不小挑战。二是面向动作任务的困难。在动作类游戏中，基于强化学习的框架仍然占主导地位，但在特定任务上需要大量训练时间，迁移到其他任务上泛化能力较差，表现往往不佳。
为突破上述瓶颈，在此次研究中，技术团队提出了一个名为VARP Agent(视觉动作角色扮演智能体)的新框架。它直接以游戏截图为输入，通过一组多模态大模型的推理，最终生成可以直接操作游戏角色的代码，每个动作都是由各种原子命令组合而成的序列。这些原子命令包括轻攻击、躲避、重攻击、恢复血量等。同时，该框架包含三个库：情境库、动作库和人类引导库。这些库可以被检索和更新，以存储用于自我学习和人类指导的密集知识。
技术团队定义了10个基本任务和2个挑战任务，其中75%的任务发生在战斗场景中。对于战斗任务，如果玩家角色击败了敌人，则任务成功;如果玩家角色被敌人击败，则任务失败。研究结果显示，该框架在基本任务和简单到中等难度的战斗中，胜率高达90%，但在面对高难度任务时，表现相对较差。总体来看，其整体水平仍不如高水平人类玩家，但研究成果可为设计应对更广泛挑战、更复杂的智能体提供参考。
标签：
抢先读
- 天天新资讯：西南油气田输气管理处：点亮梦想与希望 共绘“同心圆”
- 让“老有所学”成就“老有所乐” 河北基本建成五级老年教育体系
- 天天热点！股票注册制对散户影响是什么？股票注册制意味着什么？
- 新华鲜报|连续5年PCT国际专利申请量全球第一！中国知识产权发展获国际点赞
- 大模型“玩”《黑神话：悟空》比人类强吗 全球报资讯
- 焦点观察：1至9月“黔电送粤”电量完成327.7亿千瓦时 同比增6.9%
- 保险公司理赔金额有争议怎么办？车祸对方全责有必要请律师吗？-今日热讯
- 【世界聚看点】从“要我锻练”变为“我要锻练”（特写）
- 1.2万余名选手参赛！2024遂宁观音湖马拉松暨“跑遍四川”遂宁站圆满举行
- 职校学生化身主播 助农产品走出“深巷”——广州职教与院校属地开启产教融合新模式
- 今日热搜：今年前三季度各地外贸表现如何？一组数据看成果
- 股票注册制是什么意思？注册制的优点和缺点是什么？-头条焦点
- 今年前三季度各地外贸表现如何？一组数据看成果 环球热点
- 回购增持升温释放积极信号-环球即时
- 全球速看：大兴机场旅客吞吐量首次突破4000万人次
- 头条焦点：“秋游登高”热度不减 消费市场释放高质量发展新潜力
- 【环球新要闻】跑出端牢能源饭碗“加速度”
- 教育部公布第三批国家卓越工程师学院建设高校名单|今日热门
- 环球观点：中消协：警惕跑偏的“第三方测评”
- 车市“金九银十”结构性回暖|热推荐
- 多地发放新一轮消费券 “真金白银”拉动消费促市场升温|天天热点评
- 全球今日报丨车市“金九银十”结构性回暖
- 更多年轻人喜欢“零添加”食品
- 环球新资讯：半导体板块再成牛市先锋 重仓基金净值飙升
- 李家超：将持续强化香港全球最大离岸人民币业务中心地位
- 全球观焦点：车市“金九银十”结构性回暖
- 实时焦点：建设强有力国家评估体系
- 天天速递！更多年轻人喜欢“零添加”食品
- 山东：盐碱地上长出更多“希望的种子”|当前要闻
- 以旧换新带动重点消费品销量
- 国家电投旗下电投产融、远达环保相继披露重组预案|天天微动态
- 国寿安保基金：上周市场先抑后扬|每日热讯
- 驻马店市驿城区沙河店镇组织开展学习百万行政执法人员集云宣讲活动
- 添加脱氢乙酸钠的食品有害吗
- 飓风“海伦妮”席卷美国三星期后 多家养老院仍然断水_天天播报
- 添加脱氢乙酸钠的食品有害吗
- 环球消息！建设强有力国家评估体系
- 今日热闻!《中国企业海外权益保护蓝皮书（2023-2024）》发布 中国企业主要面临四类海外风险
- 【环球新要闻】更多年轻人喜欢“零添加”食品
- 全球新消息丨《中国企业海外权益保护蓝皮书（2023-2024）》发布 中国企业主要面临四类海外风险
- 环球观点：鹏华固收专家王石千：可转债迎右侧布局机会
- 南方中证A500ETF联接基金获批！
- 三季度1.6亿人次出入境 外国人免签入境488.5万人次
- 中证A500迎场外力量，华夏中证A500指数基金获批-头条焦点
- 斯里兰卡火车与象群相撞
- 10月21日央行开展2089亿元7天期逆回购操作
- 凝聚金砖合力 共享金色机遇|环球焦点
- 今日看点：西平县焦庄席王寨小学开展“珍惜粮食，拒绝浪费”活动
- 驻马店市驿城区南海街道光明社区：医保宣传惠民生 擦亮“幸福和谐星”|世界最新
- 九江修水：用心用情解民忧 服务群众“零距离” 微资讯
- 天天即时看！逛市集 看演出 赏非遗 去街区，赴一场城市休闲游
- 新闻分析：“马拉松热”背后的经济账 当前讯息
- 共筑繁荣之路丨雅万高铁正式运行一年 便利出行促经济发展|最新
- 10月21日人民币对美元中间价报7.0982元 上调292个基点-每日快播
- 世界播报:湖南省冷水江市开展星悦茂地下商业街灭火疏散应急实战演练
- 共筑繁荣之路丨雅万高铁正式运行一年 便利出行促经济发展
- 北京地铁17号线全线贯通 线路总长49.7公里
- 再创历史新高 亚市开盘金价达2754.01美元/盎司_最新资讯
- 快讯：税惠赋能 助力企业加速发展
- 实实在在效益提升！“数”读铁路客货运输澎湃动力|每日关注
- 第九届“创客中国”重庆市中小企业创新创业大赛落幕|全球看点
- 探索国寿特色健康养老产业发展模式|当前关注
- 【报资讯】2024“鹭岛好评”网络评论大赛全网征集作品
- 广交会迎“开门红” 第一期超13万名境外采购商线下参会-环球今日报
- 邗江：税助退役军人创业就业
- 截至9月底全国累计发电装机容量同比增长14.1%_天天快消息
- 广州生物医药产业蓄势崛起|全球微速讯
- 全球看热讯：广东围绕全过程创新链发力
- 每日速读!缴费方便！江苏“非接触式”社保缴费占比超99%
- 佛山：打造氢能产业创新高地 每日快看
- 截至9月底全国累计发电装机容量同比增长14.1%
- 前9月中欧班列开行14689列 同比增13%
- 世界快讯:为中国智慧点赞 世界知识产权大会参会代表这样说
- 热点在线丨二〇二四金融街论坛年会闭幕，取得丰硕成果——共商金融开放合作 共享经济稳定发展
- 迁安：巧用“融合之笔” “水灵灵”迎客来-天天时讯
- 江苏公布105件首台（套）重大装备 世界今亮点
- 环保科技领域的“小巨人”：创新驱动绿色低碳发展
- 宿迁市首届警务实战技能大赛暨第八届警体运动会开幕|环球速递
- 基因测序仪领军者落户江北新区
- 环球快讯:15家高校获授牌为江苏省卓越工程师学院
- 全球热文：博世商用车业务中国总部落地江苏无锡
- 南京农业大学举办“遇见南农”2024年迎新晚会_每日消息
- 丰县：90分钟完成企业出资备案登记 环球时讯
- 每日简讯：前三季度江苏进出口规模创历史同期新高
- 【天天播资讯】盐南高新区低空经济高质量发展 满足客户多元化需求
- “千名学子进宿迁”系列活动启动仪式举行_环球速讯
- 组合拳发力！当前房地产市场热点问答
- 江苏“非接触式”社保缴费占比超99% 天天聚看点
- 风“驰”电“掣”！我国风电发展驶上快车道
- 当前滚动:含有云的诗句有什么？少年易老学难成的下一句是什么？
- 感受生活之美 浙江音乐学院团队进行沉浸式美育实践
- 江苏省第二届农耕体育健身大赛在金湖举行-今热点
- 潍烟高铁开通运营 胶东半岛高铁成环_今日讯
- 2024大运河自行车系列赛（句容站）举行 世界观焦点
- 谁还在买黄金？首饰金价涨破800元大关
- 山西打通与中亚国家空中货运通道
- 江苏举办重点产业链融通对接活动
- 浙江高校劳动教育课程受追捧 学生热衷修“劳动学分”
- 伟大转折的起点，“进入黎平就看到了黎明”
- 天天观察：二〇二四金融街论坛年会闭幕，取得丰硕成果——共商金融开放合作 共享经济稳定发展