完整理解
一套互动数据。
从采集类型、文件规格与标注体系，到下载路径、已知局限和许可边界。此指南依据官方数据仓库与项目介绍整理，便于研究团队在本站完成数据概览与技术查阅。
数据范围与互动类型
以一段双人互动为基本单位，收录两位参与者面对面交流时的语言与非语言行为。项目公开信息显示，数据集包含 4,000 小时以上录制、4,000 多位参与者与 65,000 多段互动；实际可用内容依数据版本、划分及文件模态而异。
自然交流
参与者围绕引导提示进行自然、即兴的对话，包含熟人之间的交流。
情境演绎
基于预设情境与提示开展互动，至少一名参与者为专业演员。
模态与文件规格
每段互动可关联多种同步或时间对齐的数据文件。并非所有模态都存在于每个 file ID，请以文件清单中的可用性标记为准。
| 模态 | 内容 | 格式 | 采样 / 帧率 |
|---|---|---|---|
| 视频 | 面对面互动影像 | MP4（H.264） | 1080p · 30 / 29.97 FPS |
| 音频 | 降噪音频与独立参与者声道 | WAV | 48 kHz · 16-bit |
| 转写 | 带时间信息的语音文本 | JSONL | 事件级时间戳 |
| 语音活动检测 | VAD 语音活动区间 | JSONL | 100 Hz |
| 身体模型 | SMPL-H 身体、手部姿态与位移参数 | NPY / NPZ | 30 Hz |
| 关键点 | 人脸与身体关键点、边界框及有效性信息 | NPY / NPZ | 30 Hz |
| 动作特征 | 情绪、表情、目光、头部与运动特征 | NPY / NPZ | 30 Hz |
| 行为标注 | 内部状态、标注理由与视觉行为描述 | JSON | 片段 / 事件级 |
文件清单包含 has_annotation_1p、has_annotation_3p 与 has_imitator_movement 等字段，用于标示对应数据是否可用。
标注体系与动作特征
人工标注覆盖参与者自述状态、第三方观察状态与可视行为描述。下列数据来自官方说明；公开文件清单仅包含一部分已标注样本。
| 标注类型 | 说明 | 覆盖时长 | 标注数量 | 平均词元数 |
|---|---|---|---|---|
| 1P-IS | 第一方内部状态 | 约 1.1 小时 | 751 | 5.8 |
| 1P-R | 第一方内部状态理由 | 约 1.1 小时 | 751 | 10.2 |
| 3P-IS | 第三方内部状态 | 约 4.7 小时 | 5,132 | 5.2 |
| 3P-R | 第三方内部状态理由 | 约 4.7 小时 | 5,132 | 11.3 |
| 3P-V | 第三方视觉行为描述 | 约 4.7 小时 | 5,132 | 14.6 |
运动、表情与状态信号
公开特征包括情绪效价和唤醒度（-1 到 1）、8 类情绪分数、24 维面部动作单元（FAU）、目光与头部编码，以及 SMPL-H 姿态参数。
Imitator v4 已开始逐步发布，扩展了动作分析特征；不同 file ID 的 v4 数据可用性不一致。部分依赖尚未公开模型的特征暂不公开提供。
目录、元数据与文件 ID
数据按互动类型、数据划分与批次组织；互动、参与者和关系元数据通过 CSV 清单关联。
数据集根目录/
├── improvised/ or naturalistic/
│ └── train/ · dev/ · test/
│ └── batch/
│ ├── video/ MP4
│ ├── audio/ WAV
│ ├── transcript/ · vad/ JSONL
│ ├── smplh/ · movement/ NPY / NPZ
│ ├── boxes_and_keypoints/ NPY / NPZ
│ └── 1P-IS · 1P-R · 3P-IS
│ 3P-R · 3P-V JSON
└── assets/
├── filelist.csv · interactions.csv
└── participants.csv · relationships.csv上述结构为逻辑示意。实际目录层级和文件覆盖因下载方式、split、batch 与 file ID 而异。
V00_S0040_I00000504_P0059A
IPC（人际环形模型）标签描述能动性与亲和性维度。同一互动提示可能在不同采集场次中由不同参与者完成。
下载路径与数据规模
官方提供按互动精细获取和按批次下载两种路径。建议先用小样本确认文件结构，再按研究任务扩大下载范围。
按互动下载
适合单个样例、互动对或指定 file ID 的分析与快速验证。
- 单个样例约 100 MB
- 互动双方约 200 MB
- 小型样本集约 1 GB
按批次下载
适合跨样本分析、模型训练与可复现的数据划分。
- 单批次约 50–100 GB
- 训练划分包含 200+ 批次
- 完整数据规模约 27 TB
展开安装、下载与读取流程
1 · 安装并启动数据浏览器
从官方代码仓库获取工具包，在项目根目录按仓库说明安装依赖；交互式浏览器使用 Streamlit 启动。可在页面上按数据类型、split、batch 与互动 ID 分层浏览。
2 · 从 S3 获取单段互动
适合先查看一段样本或指定互动。设置数据类型（自然交流 / 情境演绎）、split、采集站点筛选和本地保存目录；随后随机抽取 file ID，或填写已知 file ID 下载该段关联的可用模态。
- 单个样例约 100 MB；互动双方约 200 MB。
- 实际下载量取决于选中的模态与可用文件。
- 本地索引工具可按 file ID 列出对应文件路径。
3 · 从 Hugging Face 下载批次
适合多样本分析与模型训练。选择数据类型、split、batch 编号，并可指定 archive 范围；只取部分 archive 可用于初步验证，不指定 archive 时下载完整批次。
- 部分 archive 示例约数 GB。
- 单个完整批次约 50–100 GB，下载前请确认本地空间。
4 · 使用 WebDataset 流式读取
使用 Hugging Face Datasets 指向批次中的 WebDataset tar 文件，并开启 streaming 模式逐条读取，避免先将整批数据全部下载到本地。记录通常包含 MP4、WAV、JSON 与 NPZ 等可用对象。
具体安装命令、下载参数和文件可用状态请以官方仓库当前指南为准。
批次数量与大小为官方说明中的约数，可能随数据发布版本更新；下载前请核实 split、batch 和具体文件的可用性。
数据质量与已知限制
官方文档记录了大规模、多站点采集中的已知问题。训练、评测或统计分析时，建议将数据质量检查纳入处理流程。
部分片段的起止时间、提示文本或提示顺序可能有偏差；官方估计约 10% 的互动仍受到时间戳问题影响。
行为描述可能只覆盖观察行为的一部分，标注时长也可能未完全对应行为边界。
少数情况下，参与者 ID 可能重复指向不同人员，或同一人员对应多个 ID。
公开数据主要覆盖参与者响应提示的活动时段；阅读提示、休息等非活动时段尚未包含。
录音串音、参与者是否始终在画面内、情境演绎质量与时间标注误差率可能随站点而变化。
许可与学术引用
数据集公开仓库标注许可为 CC BY-NC 4.0（署名—非商业性使用 4.0 国际）。
再使用或改编时须给予适当署名、附上许可链接并说明修改。该许可不授予商业用途；商业使用需向权利方另行取得明确许可。
阅读许可全文 ↗