研究手册

在 Uedu 上开展研究

有哪些数据、您属于哪类伦理案例、数据如何离开平台,以及在方法和局限性中应写什么。

Written for: 计划发表论文的研究者

Machine-assisted translation, structurally verified against the English text. Where the two differ, the English version governs; the authoritative governance documents are in Traditional Chinese. Read the English version

本手册按研究者问题变得紧迫的大致顺序作答: 这里有什么、你是否需要自己的伦理审批、数据如何离开、你应在局限性部分写什么,以及如何引用其中任何内容。它刻意明确说明平台不能提供给你的内容,因为在研究进行到第四个月才发现这一点代价很高。

1. 本平台适合做什么

Uedu 是一个投入使用的教学平台,恰好配备了可观测功能,而不是实验室。这决定了它擅长回答哪些类型的问题。

适合不适合
对真实的 AI 中介学习进行大规模、跨学科、跨机构的观察性研究 需要标准化条件的严格控制实验室实验
在一个学期内,或跨学期针对返校学生开展纵向研究 任何需要将学生随机分配到不同机构或教师的研究
设计型研究:你修改自己的课程,并观察随后发生的情况 必须对教师隐藏干预措施的研究
方法与工具研究:测量对话、比较分析方法、验证某项指标 关于单门课程单个学期学习增益的结论
多模态整合——对话与评估,或与认知测试,或与生理日汇总相结合 需要原始连续信号的高频生理研究

数据组织所依据的框架

Educational Omics 将学习视为多个可同时观测的层面。它是平台所收集内容的组织方案,而了解这些术语会让本手册其余部分更简短。

维度涵盖内容
Cognomics认知过程——对话轨迹、认知层级分类、认知测验表现
Linguomics语言与表达——复杂度、语义、语音转写
PhysioNeuromics生理与神经——心率变异性、睡眠、压力;传感器工作仍在开发中
Sociomics社会互动——论坛、协作、同伴回应
Environomics学习环境——由公开监测数据推导出的环境条件
Ethicomics伦理与治理——同意、撤回、披露,以及这些机制本身的研究

平台上的既有工作,包括定义这些术语的论文,见 /practice(19 publications)。在第一次交流前先读两三篇,会让那次交流短得多。

2. 你属于哪种伦理案例

这是首先要确定的问题,因为它比其他任何事情都更能决定你的时间安排。该平台持有一份总括性研究伦理方案 (NTU-REC 202507EM058),其下的数据治理由平台负责,而不是由你负责。共有三种情况:

案例 A — 分析平台已经持有的数据

已涵盖。你无需为此另行提交。 对已收集数据进行去标识导出,属于总括性方案范围内。知情同意、去标识化以及导出路径均由平台负责。我们会提供一份来源说明,你可以在方法部分引用(第 10 章)。

案例 B — 收集新的内容

在开始之前需要修改方案。请预留准备时间。 新的工具、新的传感器、外部问卷,或向学生提出任何该方案尚未涵盖的问题。修订是集中处理的,而不是逐个提交,因此决定因素是你多早告诉我们——而不是你提出时有多紧急。

案例 C — 你所在机构和目标期刊

由你负责。我们提供你需要用来回应它们的文件。 有些机构无论数据在哪里收集,都要求自己的注册或批准;大多数期刊都要求伦理声明。这些义务由你承担,但通常只需引用总括性方案即可满足,而不必重新进行审查。

人们在这里最容易弄错的地方

  • “我只是再加三个问题到问卷里。” 那就是案例 B。协议未涵盖的三个问题,无论多么少,都是新的收集。
  • “这是我自己的课程,所以由我决定。” 教这门课由你决定;从你评定成绩的学生那里收集研究数据不是同一件事,第 8 章中的分离原则无一例外地适用。
  • “我会用外部表单,比较快。” 那更慢。外部问卷不在总括范围之内,会把你带入案例 B,并额外带来数据传输问题。请使用平台自己的调查工具——这正是它存在的原因。

3. 有哪些数据

下文中的可获取性是指“存在于平台上,并且原则上可以通过导出途径去标识化后释放”,而不是“会应请求交付”。第 5 章说明实际释放是如何进行的。

数据粒度维度备注
助手对话 按消息,带时间戳,按对话串联 Cognomics / Linguomics 核心资产。包括该对话所处的模式。
认知层级标签 按学生消息 Cognomics 修订版 Bloom 分类,由模型分配。在将其用作结果变量之前,请先参见第 9 章。
消息嵌入 按消息向量 Linguomics 支持聚类和语义相似性分析,无需重新嵌入。
测验、练习单、作业 按条目作答,带分数 Cognomics 题目内容属于教师;不同课程的工具不同。
论坛活动 按帖子和回复,带质量与反应信号 Sociomics 包括经过质量调整的评分组成部分,而不只是计数。
问卷 按响应 取决于工具 仅限平台内问卷。新工具属于 Case B。
认知测验组 试次级,毫秒级计时 Cognomics 涵盖执行功能、加工速度、工作记忆、情景记忆、流体推理、空间认知、语言能力和元认知的 23 项研究级任务。试次级记录绝不会被物理删除。
学习者画像 按完成的工具 Cognomics 三个开放心理测量工具(Holland RIASEC、IPIP Big Five、OEJTS)。学生为自己作答,并且可以重复作答;所有尝试都会保留。
可穿戴设备日汇总 按日值 PhysioNeuromics 睡眠阶段和得分、心率变异性、压力和身体电量、活动、静息心率。仅限经授权的研究项目,且仅限已连接设备的成员。见第 5 章和第 7 章。
环境暴露 按机构或县级的派生日指标 Environomics 由公共机构监测数据计算而得。派生指标可作为变量使用;底层机构数据集不由我们再分发——如果你需要原始值,请直接向该机构获取。
语料库的真实形态

它是广泛的,而不是统一的。课程之间在使用了哪些工具上不同,教师之间在要求什么上不同,而且整个过程都属于自愿参与——因此覆盖面天生不均,且无法事后变得均匀。任何假定每个学生都拥有每一种模态的设计,都经不起数据的检验。在你确定设计之前,请针对你那组具体变量请求一次可行性计数;这是个代价很低的问题,我们也宁愿尽早回答。

4. 你永远拿不到的内容

不是“尚未”——这些都是既定立场,再问也不会改变。

  • 已识别的学生。 研究数据以随机研究代码发布。 你这边没有重新识别密钥,也不得尝试构建 一个。
  • 另一位教师的课程,在没有他们参与的情况下。 课程数据归课程所有。 跨课程研究通过相关教师进行,而不是绕开他们。
  • 月经周期和生殖健康数据。 仅在服务层收集,供用户自行参考,排除在 所有研究类别之外,且任何项目都不能授权使用。其理由见 研究治理文档第 7 章:科学证据薄弱,而且这类主张的历史 足够糟糕,伦理风险已经超过学术价值。
  • 通过项目路径获取原始连续生理信号。 研究 项目授权的是每日汇总值,不是分钟级序列。心搏级工作 在平台上存在,但作为独立的带仪器研究运行,而不是作为数据请求。
  • 通过公共 API 获取学生工作。 公共 API 和 MCP 服务器只公开 低敏感度数据——公开课程、机构、出版物。对话、成绩和 论坛内容绝不会以这种方式公开,而且这一边界对每个 项目都不可协商。
  • 来自已退选学生的数据。 退选立即生效,并将该 学生排除在后续分析和导出之外。退选前已计算并去标识化的汇总 无法事后拆分,而且这一限制会在学生 同意时向其披露。

5. 导出路径

只有一条门路。没有非正式副本,没有通过电子邮件共享的数据集,也没有为赶时间的合作者例外——这种单一路径特性正是使总协议可行的原因,因此它是被强制执行的,而不是被鼓励的。

在导出过程中会发生什么

  • 标识符会被随机研究代码替换。
  • 导出会被加密并交付给请求者,而且每次导出都会被记录。
  • 负责教师必须已签署数据保护承诺;代表其导出的研究助理还必须具备高级教学助理权限,并已签署保密承诺。
  • 研究导出在时间上是有界限的:记录自创建起可导出五年,此后系统会拒绝。

外部研究者的访问层级

不属于课程教师的合作研究者是通过一份研究者访问协议进入的,该协议涵盖分级访问、保密、发表审查和终止。它发布在治理中心(中文;如果你需要一份正式的英文副本用于贵机构存档,请询问)。

尚未开放:可穿戴研究项目的去标识化导出

在一个研究项目中,首席研究员可以在项目窗口期内查看成员经授权的每日摘要。这些数据的去标识化研究导出只有在伦理委员会批准相应的方案修正后才会开放,而今天尚未开放。如果你的研究依赖于导出可穿戴数据,请将其视为一个未解决的依赖项,并在把它写入提案之前与我们沟通——不要假定查看功能就意味着具备导出功能。

6. 适用的研究设计

设计所需条件伦理案例
对既有对话的二次分析 — 语料库工作、轨迹 建模、方法比较 明确的问题和可行性数量。未收集任何新数据。 A
围绕自己的课程开展设计型研究 — 你改变教学, 平台记录随后发生的情况 你的课程、开始前书面的预期,以及在写作中如实说明该学期还有什么其他变化。 A,前提是你不增加新的工具
围绕一个设计好的活动进行前后测 — 例如苏格拉底式对话 ,活动前后各有评估 现有的平台工具。加入你自己的测试题目会使其成为 B。 A 或 B
跨课程或跨机构比较 每位教师的参与,以及对除你的关注变量之外,各课程之间差异有多大的现实判断。 A
与学习行为相关联的认知测验 完成测验套件的学生——这是自愿的,因此要预估从注册到得到可用 N 之间的流失。 A
生理研究 一个研究项目,按成员逐一授权,成员自行拥有并连接设备,以及第 5 章中的导出依赖。 通常为 B
新的问卷或工具 一份修订申请,提前提交。之后它作为平台内调查运行。 B
如果你需要向学生询问什么,就在平台内询问

平台内调查之所以是默认方式,是有原因的:回答留在现有的同意和治理安排之内,可通过同一去标识化路径与平台数据建立关联,而且不会产生第二个数据控制者。外部表单会同时破坏这三点。

7. 同意架构

两个相互独立的层级,加上一组参与者权利,这些权利是在软件中实现的,而不是写在文件中的承诺。

  1. 平台级研究同意。 版本化、可撤回,并且与是否使用平台完全分离。拒绝后,所有教学功能仍可使用。
  2. 按项目授权,适用于涉及可穿戴数据的研究项目。参与者逐字阅读项目所述目的,选择要授权的数据类别,并决定是否包含加入日期之前的历史数据。签署时,全文会被哈希以便日后举证。

参与者权利,按实现方式

  • 镜像视图。 参与者看到的界面与研究者看到的界面完全一致。没有隐藏字段。
  • 访问日志。 研究者的每一次查看都会被记录——谁、何时、什么范围——参与者可以阅读该日志。
  • 撤回。 一次操作,立即生效,无需理由,没有后果。研究者不得询问原因。
  • 匿名提示。 感到受到压力但又不想撤回的参与者,可以在不退出项目且不让研究者知道是谁提出的情况下发出标记。一旦提示达到阈值——至少两人,且不少于活跃成员的百分之五——项目的查看权限将自动暂停,等待审查。
层级关系设置承担额外义务

当研究者对参与者具有权威关系——教师与学生、教练与运动员、指挥官与下属——项目必须明确声明,且研究者签署一份额外承诺:数据仅用于训练调整和参与者照护,绝不用于评估、纪律处分、遴选或任何人事决定。隐瞒这种关系属于严重违规。全文与理由: research governance

8. 不能改变的规则

研究参与绝不影响成绩

签署同意书不会获得任何东西。拒绝也不会付出任何代价。学期中途退出也不会付出任何代价。学生照常上课、使用助手,成绩也完全照旧;只有其数据会被排除。任何功能、措辞、通知或课程公告都不得暗示相反的情况——不是“参与者可获得加分”,不是“这项研究是课程要求的一部分”,甚至连教师会更希望如此的一点暗示都不行。

这不是风格偏好。在教师与其评分的学生之间存在权力不对称的情况下,带着成绩关联所获得的同意并不是同意,而在类似案例中,后果包括解聘、失去研究资格、罚款,以及机构被追缴资助款项。

有两点后果值得提前规划:

  • 以经得起审查的方式招募。 学生可以忽略的公告是可以的。由你在自己课堂上直接发出的招募宣传是一种压力,你应该在设计阶段就消除,而不是事后为其辩护。
  • 对 AI 使用进行评分会改变你的数据。 教师可以对 AI 使用评分——这是他们的教学自主权。但由成绩激励产生的行为,与自发使用是不同的现象,论文如果不区分二者,在审稿中就会被问到这一点。

9. 你应当写明的局限性

审稿人会问到这些,所以你最好主动提出来。下面每一项都是数据的真实属性,而不是一种保留说法。

认知层级标签是模型输出

Bloom 级别分类是由语言模型根据一份有文档记录的提示生成的,不是由经过训练的人类编码员给出的。它们在整体上以及跨时间都一致且有用;但对于单条消息来说,它们不是金标准,而且它们与人类编码的一致性,要么应当引用已有研究,要么你自己在样本上建立。说明模型和提示版本——两者都按事件记录,所以你可以这么做。

使用量不等于参与度

消息数、会话数和词数都是较弱的替代指标,在教师对参与情况进行评分时会更弱。如果平台提供质量调整后的信号,优先使用它,并说明你为什么选择它。

参与在整个过程中都是自愿的

学生可以自行选择是否使用助手、是否参加认知测验、是否连接设备,以及是否同意研究。以上每一项都是一个筛选步骤。报告整个漏斗——已注册、已使用、已完成、已同意——而不只是最终的 N。

人口统计变量并不完整

平台在早期注册时并未收集生理性别,且很大一部分账户没有记录值。因此,关于性别构成的平台层面主张不能成立,任何公平性分析都必须限定在有记录值的子集上,并且如实描述该子集。如果你的研究需要某个人口统计变量,就把获取它视为 Case B,并相应规划。

认知测验得分不是临床常模

汇总报告中的综合得分是用于向学生反馈的启发式转换,不是标准化的常模参照测量。分析时应使用原始试次级指标,不要把该测验描述为相当于智力评估或临床评估。

语境与可推广性

该语料库形成于台湾高等教育环境中,且主要为中文课程,这些课程由选择采用 AI 平台的教师授课。这两个事实都限制了可推广性,也都应写进你的局限性段落,而不是写进审稿人的报告中。

10. 方法、引用、致谢

平台描述

数据采集于 Uedu(uedu.tw),这是一个用于高等教育课程的 AI 中介学习平台,由 Chia-Kai Chang(National Central University 通识教育中心,台湾)开发,并已被其他机构采用。

请注意有两点需要避免:不要把该平台描述为任何机构的产品,也不要将其描述为商业性的。这两种说法都不准确。

来源与伦理声明

数据采集于 Uedu 平台,并以去标识化形式提供,符合研究伦理协议 NTU-REC 202507EM058。研究参与独立于课程参与,且不影响任何学生的成绩。参与者可在任何时候无条件退出。

如果你的机构或期刊需要更多内容,请提出——为你的特定数据集撰写书面的来源声明是我们惯常提供的内容,而不是一种帮忙。

利益冲突

请声明三件事,因为如果审稿人未借助他人就发现了其中任何一项,就会对这三项都作最坏的判断:

  • 数据来自哪个平台,以及该人是否为作者。
  • 平台使用免费,且没有商业实体为其提供资金或从中获利。
  • 你所使用的平台容量背后的任何资助经费,以及你的机构直接支付的任何 API 成本。

引用先前工作

如果你使用某个分析组件——认知层级分类、检索、论坛评分、认知测验——请引用描述该组件的论文,而不是引用网站。带有 DOI 的列表见 /practice,方法说明见 /doc/methodology(中文),其中包含方法部分所需的参数级细节。

11. 作者身份与协作

  • 共同署名是常规安排,当平台工作属于贡献的一部分时——例如搭建仪器、运行抽取流水线、设计论文所依赖的机制。若贡献是提供现有数据和来源说明,则致谢是常规且足够的做法。
  • 在分析之前决定,而不是在提交之前。 署名讨论拖到很晚通常会出问题;早点讨论只需五分钟。
  • 提供数据的课程教师应被告知论文将写到他们班级的哪些内容,不论他们是否是作者。这是平台所期望的礼貌,而不是它强制执行的规则;也正是这一点让教师愿意继续接收研究。
  • 重叠投稿。 如果你的问题与平台上已在审的工作非常接近,我们会告诉你——也会期待你同样告知我们。基于同一语料库、在不同场合提出相同主张的两篇论文,对双方都是问题。

12. 实验室与研究项目

生理学和多参与者研究通过实验室和项目结构运行,而不是临时开展。

  • 实验室由平台管理员与指定的首席研究员一同开设。请来信提供您的机构和职称、实验室名称和研究方向,以及预期用途。
  • 研究项目由 PI 创建,经平台审核并激活,然后逐个招募成员。只有实验室 PI 才可创建研究项目,这是刻意如此:每个项目都需要一位可识别的负责人,对其伦理负责。
  • 参与者不需要加入实验室。他们会收到邀请,阅读项目目的,签署,然后加入——这就是全部流程。
  • 项目会到期。查看权限会在项目结束日期自动关闭,没有人工步骤,也不能悄然延长。

完整生命周期、PI 的权利和义务,以及所涉法律和伦理术语的通俗词汇表,见 研究治理文档(中文)。这是一份权威文本;本章是其摘要。

13.如何开始

发送问题,不要发送提案。一段文字就足以得到关于可行性、你属于哪一种伦理情形,以及是否已经有人在做这件事的真实答复。

Subject: Uedu — research collaboration Question: [the thing you actually want to know] Data I think I need: [dialogue / assessment / cognitive battery / wearable / survey], for [which population], over [what period]. Am I collecting anything new? [yes / no / not sure] My timeline: [when you need results, and what for] My institution requires: [own ethics registration? DPA? English documents?]

写信至 [email protected]。 你会得到直接答复,包括“that data does not exist”或“someone is already doing that”,前提是这些说法属实。

在你写信之前

各花两分钟:先查看 /practice,确认问题是否已经有答案;再重读第 2 章,弄清你属于哪一种伦理情形。这两个事实对你收到的回复影响,比信息中的其他任何内容都更大。

Something in this handbook wrong, out of date, or missing? Write to [email protected] and say which chapter.

All handbooks · AI teaching overview · Publications · Research governance · uedu.tw

Uedu is developed by Chia-Kai Chang, Assistant Professor at the Center for General Education, National Central University, Taiwan, and is adopted by institutions beyond it. This handbook is available in English · 繁體中文 · 简体中文 · 日本語 · 한국어 · Tiếng Việt · Bahasa Indonesia · Bahasa Melayu · ไทย · Türkçe · Deutsch · Français · Español · Português · Italiano · Ελληνικά. The English version is the reference text. The platform interface itself is available in 16 languages.