AI 大模型研究员

熊斐然

心理学与人工智能交叉背景,专注大模型评估体系搭建与能力建设,用量化方法定位模型短板并输出可落地的迭代方案。

关于我

爱丁堡大学心理咨询硕士,具备心理学与人工智能交叉研究背景,深耕心理模型评估与能力建设方向。

擅长心理指标体系设计、多维度模型评估框架搭建,通过量化方法定位模型短板,输出可落地的迭代研究方案。

强跨团队协同与项目推动能力,高效协同算法、产品及专家团队,主导复杂数据项目从设计、生产到验收的全流程。

教育背景

  • 2022.09 — 2023.11

    爱丁堡大学

    心理咨询研究

    硕士
  • 2018.09 — 2022.06

    江汉大学

    应用心理学

    本科

工作经历

  1. 字节跳动

    AI 模型评测运营专家

    2026.02 — 2026.06

    负责通用大模型(豆包 / 头条 AIbot)的产品线评测,搭建自动化评估体系,输出模型能力分析报告与迭代建议。

    • 体系搭建:搭建天级流式评估体系,数据集规模日均 300 题,围绕信息准确性、逻辑合理性、体验流畅度等维度开展全链路评测,实现模型能力线上持续监控,为模型迭代提供核心数据支撑。
    • 专项攻坚:参与高考等 3 项重点垂类模型能力优化项目,搭建 557 道垂类自动评估考点题库,基于 BadCase 深度定位模型逻辑短板,输出迭代策略建议报告,推动垂类模型能力迭代,拉开与竞品能力差距。
    • 安全评估:开展头条 AIBot 安全链路评估,排查模型安全响应漏洞,协同产研完成根因修复,安全题得分反超基准模型 7 分。
    • 流程沉淀:沉淀 3 份模型评测 SOP 文档,完成 10 余场团队评测标准培训,形成可复用的大模型评估方法论,支撑多垂类评测工作的标准化开展。
  2. 京师讯飞

    AI 心理大模型研发专员

    2024.04 — 2026.01

    负责心理学理论与 AI 心理大模型能力的转化落地,搭建模型评估与迭代体系。

    • 标准搭建:搭建覆盖共情准确性、专业度、问题解决度等多维度模型评估体系与监控面板,建立标准化评分流程,实现模型迭代全流程量化评估,核心体验得分从 50 分提升至 75 分以上。
    • 专业知识工程化:将 CBT 认知行为疗法、SFBT 焦点解决疗法等专业疗法框架,拆解为可执行的流程图与规则集,实现专业理论的工程化注入,提升了模型回应的专业性与可控性。
    • 体验迭代:针对“共情表面化”“用户阻抗”等核心痛点,通过对话日志分析归纳行为模式,针对性设计“动机层表达语料库”与“阻抗应对策略库”等专项数据优化方案,驱动共情准确度提升 20%,阻抗化解成功率从 30% 提升至 60% 以上。

项目经历

AI 轻干预大模型研发项目

项目负责人 2024.04 — 2026.01

项目背景
研发具备专业共情与干预能力的心理垂类大模型,弥补通用大模型心理共情表面化、专业度不足的短板。
核心职责
设计多模型对比测评方案,敲定基座模型选型,适配项目初期快速落地与高频迭代需求;统筹心理对话数据的标准化处理流程,并结合专业心理疗法精细化标注;提炼 100+ 条模型校验与交互规范,驱动模型能力迭代验证。
关键成果
交付 50 万+ 高质量心理对话数据集,设计覆盖 200+ 真实心理问题的场景地图;核心体验指标从 50 分提升至 75 分以上,共情准确度提升 20%;形成心理模型评估框架与规则转化方法,可复用至多类心理场景的模型研发。

豆包高考垂类能力评估与优化项目

核心成员 2026.04 — 2026.06

项目背景
高考垂类场景下大模型能力缺乏统一量化评估标准,开展垂类评估体系搭建与行业竞品对标,支撑垂类模型能力升级。
核心职责
负责 500+ 道高考题库搭建;制定多维度评测标准,开展多轮竞品测试;拆解模型短板,协同产研完成迭代验证。
关键成果
完成通义千问、元宝多轮竞品对照评估,优化后的豆包 GSB 得分领先竞品 24.63%;明确模型存在的事实错误、要点遗漏、错误拒答等核心问题,输出专项分析报告,为垂类模型迭代提供明确方向。

工作技能

核心能力

  • 大模型数据构建
  • 规范设计
  • 评测优化
  • Prompt 工程
  • 标准制定
  • 质量管控
  • 项目协调

综合素养

  • 自驱力强
  • 跨学科快速学习
  • 同理心突出
  • 模糊场景落地

专业认证

  • COSCA 苏格兰咨询和心理治疗协会认证
  • 高中心理教师资格证
  • 雅思 7.0