真人交互数据产品
MULTIMODAL · DYADIC · HUMAN BEHAVIOR

让对话中的
每一种信号
都可被理解。

真人交互数据产品以多模态方式记录面对面交流中的语音、表情、动作与对话节奏，为互动行为研究与智能产品开发提供数据基础。

探索数据集 ↘商务与授权咨询 ↗
DYADIC INTERACTION / 00:12:48
同步行为信号VISUALIZATION · ILLUSTRATIVE
4,000+小时面对面互动视频
4,000+参与者，覆盖多元交流情境
65K+段双人互动片段
1,300+交流与活动情境提示
01 / MULTIMODAL DATA

让行为信号
彼此关联。

围绕同一段双人交流，提供可对齐的影音、语言、动作与行为特征。研究者可从单一模态起步，也可组合多路信号，分析互动如何随对话演进。

◉

面对面视频

双人同场录制 · MP4 (H.264)
1080p · 30 / 29.97 FPS

∿

独立声道音频

降噪语音与参与者声道
WAV · 48 kHz · 16-bit

≋

转写与语音活动

带时间信息的转写、语音活动检测
JSONL · VAD 100 Hz

⌘

三维身体参数

SMPL-H 人体参数与动作特征
NPY · 30 Hz

⌗

面部与身体关键点

时序化姿态及关键点信息
NPY · 30 Hz

◎

行为标注

内部状态、理由说明与可视行为描述
JSON · 人工标注

↝

互动上下文

情境提示、参与者及关系元数据
CSV · 分层索引

✳

动作量化特征

可用于互动节奏与非语言行为分析
NPY · 多类行为特征

02 / DATA STRUCTURE

从情境到
行为细节。

数据以互动片段为核心组织单位，按采集类型、数据划分与批次分层。不同文件模态通过统一标识相互关联，便于索引、筛选与扩展分析。

01

自然交流 Naturalistic

以提示为引导，由普通参与者进行自然、即兴的对话。

INTERACTION TYPE
02

情境演绎 Improvised

基于预设情境开展互动，至少一名参与者为专业演员。

INTERACTION TYPE
03

训练、开发与测试划分

支持训练与评估流程；具体可用文件因划分与模态而异。

SPLITS
04

多层级标注

涵盖第一方/第三方内部状态、理由说明及第三方视觉行为描述。

ANNOTATIONS
05

文件与元数据

CSV 索引关联参与者、关系、情境提示及逐互动的可用模态。

METADATA
03 / INTERACTION EXPLORER

进入一段
互动样本。

通过演示数据浏览互动片段、转写与行为标注的对应关系。以下参与者、情境和对话均为虚构样例，用于展示数据产品形态，不代表真实数据内容。

NATURALISTIC · DEV

互动片段 / I-0001

02:18
对话时间轴00:00 — 02:18
参与者 A
话轮
参与者 B
回应
注视点头手势微笑
00:0000:4501:3002:18
对话转写TRANSCRIPT · JSONL

我觉得一起做计划，会让周末更有期待感。

对，而且也能留一点空间，临时决定去哪儿。

那我们先选个大方向，细节到时候再说。

行为观察ANNOTATION · JSON
◌
积极回应互动状态 · 参与者 B
↗
点头 / 目光接触可视行为 · 参与者 B
⌁
轮次交替互动事件 · 双方
关联模态◉ 视频 MP4∿ 音频 WAV≋ 转写 JSONL⌗ 动作 NPY◎ 标注 JSON
05 / RESEARCH & APPLICATION

为更自然的
交互研究提供支撑。

从理解人与人如何交流，到让虚拟角色更会倾听与回应，丰富的同步信号帮助团队探索具身智能与多模态交互的可能。

01 / MODELING

双人行为建模

研究轮次交替、倾听反馈、动作同步和面部表达等互动动力学。

02 / EMBODIED AI

虚拟角色与具身智能

探索让虚拟代理的姿态、手势和表情更贴合对话内容与交流节奏。

03 / MULTIMODAL ANALYSIS

多模态内容分析

联合语音、视觉和动作线索，分析交流状态及非语言行为模式。

PARTNERSHIP & LICENSING

从研究探索，
走向实际应用。

面向高校、研究机构与企业团队，提供数据获取路径、技术评估及合作方向沟通。请说明您的应用场景、数据需求与预期使用方式，我们将协助厘清适用范围与下一步。

合作沟通可涵盖

  • 学术研究与模型评测的数据使用路径
  • 企业产品场景及适用数据模态评估
  • 技术集成、研究合作与联合验证
  • 商业用途许可条件及合规流程确认
商务合作咨询 ↗