摘要论文：[1]曹晓明,张永和,潘萌,朱姗,闫海亮.人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析[J].远程教育杂志,2019,37(01):32-44.DOI:10.15881/j.cnki.cn33-1304/g4.2019.01.003.
1 阅读摘要
内容概要图
一、引言
学习参与度识别是研究如何量化评估学生的学习参与情况，被一些研究者看作是在线学习的先决条件。此文试图采用“文献+实验”的方法，在目前已有单模态识别方案的基础上，设计学习参与度识别的多模态融合深度学习模型，并在实验中进行拟合训练，审视该方法与单模态方法的性能比较，以期为相关研究与实践提供借鉴。
二、研究背景与目的
（一）研究背景
从学习参与度及其典型的测量方法，人工智能在学习参与度识别中的应用现状与问题，基于多模态进行学习参与度识别的可行性分析三方面展开综述。
（二）研究目的
基于未解决的关键问题，确定研究目的：（1）探讨依托深度学习开展学习参与度识别的系统化的方案（2）通过实验，检验提出的多模态学习参与度识别模型的有效性；（3）形成一个针对开放教育领域的学习参与度识别多模态数据集。
三、实验的过程与方法
（一）实验的组织
被试的组成与特征，实验的步骤。
（二）模态选择
附着面部表情的图片是第一模态，脑电数据则作为学习参与度识别的第二模态。
（三）数据预处理
（四）特征数据集的构建与数据标记
（五）多模态融合模型的设计
多模态融合策略的选择，深度学习模型设计
（六）模型训练与选择
四、研究结果
候选模型训练结果，最优模型的选择及测试集验证结果，学习参与度与学习效果的关联结果。
五、讨论与反思
（一）基于多模态融合的模型及基于眼部的模型准确率较高
（二）基于脑电的预测模型准确率较低
（三）容量自动调节机制支持高效的模型选择
（四）模型具有一定预测能力，但其泛化能力不够理想
（五）模型泛化能力不足的原因探究
六、研究结论
图像模态的准确率可达 80%；脑电模态的准确率为60%左右，将两者融合可达到 87% 的多模态融合准确率。
七、未来展望与建议
通过协作机制建立更大规模的本土数据集，通过众包的方法提高数据标记的质量，扩展学习参与度识别的技术方法，从注重切片转向注重时序。
2 总结反思
上述文章面向学生学习参与度开展研究，数据来源为多模态数据，包括被试脸部图像、脑电波数据，最终得到准确率为87%。
类似的实验研究在遵循一定研究范式开展的基础上，应该注重评价指标的描述、选用，应呈现多种测量指标（例如准确率，召回率，f1分数等），并规范化最终的测量数据呈现方式。
另外，由于深度学习实验共同面临的数据集限制，研究者可关注批量数据获取、使用GAN促进虚拟数据生成等领域，实现数据集的扩充，使模型的效力得到进一步提升。 |
