BOB与PERCEPTION NEURON配合使用助力完成对制造环境中的心理压力和生物力学应变的大规模评估

使用PERCEPTION NEURON和BOB做工具

对制造环境中的心理压力和生物力学应变进行大规模评估

 

Lucas Paletta, Harald Ganster, Michael Schneeberger, Martin Pszeida, Gerald Lodron;

JOANNEUM RESEARCH, Graz, Austria

Katrin Pechstädt, Michaela Spitzer, Christiane Reischl;

FH JOANNEUM, Bad Gleichenberg / Graz, Austria

 

摘要：

在未来的制造业中，人机交互将朝着灵活、智能的协作方向发展。它将满足装配过程优化以及积极和熟练的人类行为的要求。最近，通过详细的任务分析，人因工程取得了实质性进展。然而，目前仍缺乏精确测量认知和感觉运动模式以分析长期精神和身体紧张。本试验提出了一种新的方法，能够基于执行功能分析以及来自非侵入式可穿戴传感器的生物力学应变实时测量认知负荷。该方法使用精确的立体测量设备对工作主体进行3D信息恢复。这名工人配备了眼动追踪眼镜和一套可穿戴加速计。无线连接将基于传感器的数据传输到附近的PC进行监控。数据分析然后恢复凝视的3D几何结构并观察工作主体的平截头体，同时进一步提取其任务切换率，评估其在不同姿势时基于骨架的肌肉和关节的生物力学应变近似值。基于AI的评估表明第一个结果与职业治疗师进行的活动分析结果非常吻合。

 

引言：

生产行业目前正处于向第四次工业革命的持续过渡过程中，通过模块化结构实体和网络物理系统监控物理过程，创建物理世界的虚拟副本并进行分散决策，从而培育“智能工厂”。最近，通过详细的任务分析，人因工程取得了实质性进展。然而，任务描述的提取仍然依赖于对基于视频的人机交互监控的手动分析和详细、耗时的描述。以这种方式，对工作的长期观察和分析成本太高，这意味着仍然缺乏用于分析长期精神和身体压力的认知和感觉运动模式的精确测量。

从服务质量的角度来看，关注对生产力的得失起着重要作用。注意力指标转移到集中度、认知负荷、情境意识的测量中，也转移到疲劳的早期指示中。注意力的质量与决策的质量直接相关，因此相关的服务质量（例如，疲劳度增加）表明，由于注意力持续时间缩短、反应时间缩短以及准确性降低，决策的安全性降低。众所周知，未被发现并因此频繁出现的疲劳意味着更多的团队误解、情绪和动力的降低，以及由于相关的身体疾病，因此短期和长期缺勤以及医疗投资的增加。因此，注意力的质量与避免因分心、错误、无法集中注意力和缺乏动力而丧失生产力有关。

我们的工作旨在实现具有挑战性的长期目标，以便能够对制造现场工人的精神、身体、情绪和动机压力进行无障碍的长期分析。我们认为，纯粹的基于观察的分析不能完全解释反映长期身心压力的心理物理过程。这项工作的技术挑战是测量确定工人互动的几何和功能条件的局部基础设施，以及描述人类状态、意图和活动的心理生理和生物力学参数。

本实验提出了一种新的方法，能够实时测量非侵入式可穿戴传感器的认知负荷和生物力学应变。特别是，认知负荷是根据眼球运动分析计算出来的，而眼球运动是参考恢复的3D结构语义得出的。从这些观察中，我们产生了一些与“任务切换”相关的指标，这些指标是基于注意力的任务行为的典型特性。最后，我们试验措施能够得到比外部观察更好的人体状态、性能和应变参数的近似值。

 

 

图1：基于可穿戴的数据采集，用于对工厂工作场所的精神负荷和生物力学应变进行大规模评估。挑选和放置工作场所证明了对认知和生物力学应变的挑战性要求。

 

相关的工作：

在人机交互领域，以人为中心的变量在相当长的一段时间内发挥了重要作用，Steinfeld等人[1]以人机交互为例描述了诸如情境感知、工作量和心理模型等参数。这些与人相关的变量对于评估人与人之间的交互度量至关重要。人类因素至关重要，因为工业机器人使人类和机器人工人能够作为合作者并肩工作，并评估用户对机器人的体验，同时了解人类在与机器人互动过程中的感受（图1）。如Huang和Mutlu[2]所述，注意力和注视提供了一种行动预测和意图的手段，即与人类同行无缝高效地合作。类似地，机器必须依赖于对人类工作人员的行为、情绪、任务特定动作和意图的预测来计划其动作，例如，使用人在环架构[2]进行预期控制，以使机器人能够基于观察到的注视模式主动执行任务动作，从而根据其预测预测其人类伙伴的动作。

基于眼球运动和相应触发的信息恢复来测量和模拟人类的注意力、专注力和情境意识，对于理解人类行动计划、心理工作量以及由此实现的服务质量来说，是必不可少的。凝视作为输入设备已被证明是有益的，例如在车间管理中[3]。最后，卡耐基梅隆大学（Carnegie Mellon University）和Admoni等人[4]引入了基于直观凝视的网络物理控制作为额外的资产。凝视似乎有广泛的机会为监控、评估、交互设备和行动预测提供信息。

与本试验所提出的方法最相关的工作是Santner等人[5]通过使用眼动眼镜和SLAM方法进行3D信息恢复来进行3D凝视恢复。所提出的方法建立在该工作的结果基础上，但实质上扩展了，应用了更先进的手持设备以实现更好的基础设施恢复，并添加了完整的方法来提取有关执行功能的信息，以及与生物力学应变估计有关，用于利用人机交互对工业工作细胞中的应变进行综合评估。

 

 

人因综合测量系统原理和数据处理

总体而言，该方法包括两个部分，（i）心理负荷的估计，和（ii）生物力学训练的估计。精神负荷的估计首先应用工作主体基础设施的3D几何提取，包括使用精密立体测量设备恢复工作主体的3D信息的计算机视觉处理阶段。下一步需要从工作者与基础设施的集中互动中抽取注意力。为此，工作者配备了眼动追踪眼镜以及一组可佩戴的加速计，其传感器数据通过无线连接传输到附近的PC进行监控。

数据分析将来自眼球跟踪眼镜的以自我为中心的视频帧与场景中的视觉信息（例如，人造地标）进行配准，从而恢复朝向工作主体的凝视和视锥的3D几何结构。最后一步是将关注领域的语义与任务参考联系起来，并由此得出对工作人员任务转换率的估计，从而得出心理工作负荷。

这些数字将在未来成为一个更完整的认知光谱的一部分，原则上，这些光谱包括心理参数（包括情感），这些参数将使我们能够在更多人口和人工研究的基础上，对人类心理状态（包括压力）的长期通用定义进行评估。

总之，这两种方法，心理和生物力学应变，共同代表了工作主体心理生理压力的主要来源，并将成为未来在真实工作环境中进行研究的基础。

 

工作站数字孪生的发展

计算精神负荷的一个重要先决条件是定义工作区，该工作区代表工人在特定任务期间与之交互的工作站环境中的感兴趣区域（ROI）。例如，在产品的特定部分的组装过程中，交互作用应用于环境的特定部分，例如表。计算集中度的基本原理是，工人们在进入这些环境时注意力集中，被本工作中尚未考虑的感兴趣的对象所占据，这将在以后的工作中完成。然而，3D模型不仅用于定义任务交互区域，还用于定义工作环境的整体可视化，以及叠加的交互和相关的注意力行为。

图2.开发工作站环境的数字孪生，并通过应用眼动追踪眼镜、图像识别和匹配方法得出与环境相关的眼球运动。

 

首要执行的任务是从真实的工作环境中提取3D模型（图2）。为此，我们应用了一种移动、实用的立体系统，该系统兼具高度精确性、立体投影纹理强健和高效的体积集成特点，并能够轻松捕获室内场景的精确3D模型[6]。其方法优化了随机点投影图案的立体方法，并提供了完整而稳健的结果。硬件封闭在一个盒子中，包含三个Basler dart相机（2个单色摄像机用于立体声，1个用于RGB）和活动Kinect投影仪，以通过占用网格和基于迭代最接近点（ICP）的配准来应用重建[7]。图3显示了典型的结果。

 

心理负荷估算

为了从工人与环境的互动中估计实际的认知负荷，我们决定使用眼动眼镜，该眼镜可以持续地确定随时间推移的眼球运动。在之前的一项工作中，我们开发了一种方法，在类似工厂的实验室环境中，通过基于眼动眼镜的数据来估计注意力和精神负荷[8]。眼睛跟踪眼镜在视频帧内产生约30Hz的连续视频流和眼睛凝视。

为了定位使用3D环境系统所提取的注视，我们必须首先定位环境视频，然后评估凝视射线及其相对于3D环境的几何恢复，并确定其属于哪个ROI。为了使视频帧与3D模型匹配，我们将ArUcomarkers（OpenCV工具箱[9]）放置在我们期望工人凝视的工作站内。另一种方法是不基于基准标记，而是直接基于来自场景的基于视频的测量来进行匹配过程[10]。眼睛跟踪应用于记录凝视行为，

•相对于工作环境，随着时间的推移（60 Hz），双眼的视轴方向的凝视行为，

•精神压力的指示性估计[11]，

•对任务[8]（执行职能）的集中度和持续注意力的指示性估计，

•通过估计凝视对重要事件的参考来感知情况[12]，

•任务转换，表明在心理模型之间转换注意力的负荷[8]（执行功能）。

 

生物力学应变的评估

为了估计生物力学应变，我们首先对人体姿势进行了分析，并从中总结出身体应变的综合情况。我们将非侵入式可穿戴设备应用于工人（图5），以估计相对位置，并进一步导出空间中的整体工人姿势，最后，接收基于骨架的分析结果以供进一步处理。

我们选择的可穿戴设备是Perception Neuron，它代表了小型、自适应、多功能和可负担的运动捕捉技术。模块化系统基于NEURON，这是一个由3轴陀螺仪、3轴加速计和3轴磁力计组成的IMU（惯性测量单元）。该系统应用了专有的嵌入式数据融合、人体动力学和物理引擎算法，以最小的延迟实现流畅的运动。感知神经元9轴传感器单元以60fps或120fps的速度输出数据。数据流被引导到集线器，然后可以通过三种不同的方式传输到计算机：（1）通过WIFI，（2）通过USB或（3）使用内置的micro-SD插槽记录在主板上。笔记本上的模块化系统最终应用了基于骨架的模型展示。

为了分析基于骨骼的模型，我们使用生物力学软件工具包BoB（人体生物力学分析）。BoB是一个软件包，其中可创建数字化的人体肌肉骨骼仿真模型[13]。

在导入任务期间，BoB读取运动、力和骨架文件。应用骨架文件来构造包含关节的机构，这些关节使用运动文件中定义的关节角度进行关节运动。力文件中的力作为外力应用于机构。然后，BoB对机构进行逆动力学分析，以计算在存在外力和质量模型的情况下计算关节运动所需的关节扭矩。在基于骨骼的模型的基础上，BoB能够提供特征生物力学应变特征的个性化估计，例如肌肉力、关节扭矩、关节接触力。

（a）

(b)

图3.3D信息恢复过程的结果。（a） 生成具有感兴趣区域的三维模型。（b） 利用相机的焦点（绿色节点）和估计的视锥（绿色金字塔）以及3D基础设施进行3D凝视恢复。

 

图4：接收到的基于运动、力和骨骼的信息的数据流，通过反向动力学和优化过程，最终产生肌肉和关节接触力。

 

图4描述了接收到的运动、力和骨骼文件的数据流，以及优化过程最终产生的肌肉和关节接触力。

对于产生关节扭矩所需的肌肉力分布没有唯一的解决方案，因为通常有大约40个关节扭矩来满足肌肉文件中的600多个肌肉。因此，利用成本函数的优化方法来识别无限数量的可能解之一。默认情况下，BoB最小化肌肉激活的平方和，其中肌肉激活定义为瞬时肌肉力除以肌肉最大等长力。该成本函数已被证明对应于减少身体的疲劳。用户可以选择其他成本函数。

 

实验结果

第一个结果是从一个面向装配的工作主体中获得的，其中频繁的拾取过程伴随着方向和姿势的变化，表征了交互模式。格拉茨医科大学授予伦理认证（编号31-243 ex 18/19）。一名51岁的典型女工佩戴该设备的时间为11分钟，即660秒（图5）。在此期间，共捕获了15.840个视频帧，其中27%是以与工作环境基础设施的ROI相关联的全自动方式引用的。剩余的视频帧被手动归因于以自我为中心的视频帧中可见的ROI。然后根据凝视参考ROI数据计算启发式浓度指标（Paletta等人[8]）。这导致浓度水平的平均值（标准偏差）M=3.79（SD=1.39），其中水平值范围在1和5之间（图6）。在工作的11分钟内，计算了153个任务切换，平均值（SD）为4.64（2.78）个切换，20秒间隔内的最大值约为10.0（图7）。这些结果表明，与正常报告的功能相比，任务切换率非常高[14]。

 

在最后一步中，我们通过职业治疗师提供的肌肉分析评估[15]，将预定肌肉群的肌肉力量与“职业应变类别”相关联。支持向量机神经网络（Vapnik，1995）最终被训练成从肌肉力量映射到职业紧张。第一神经网络实现在1秒时间窗的预测中获得89%的准确度。

图5.同步视频：（左上）可穿戴设备组装工作的原始视频监控，（右上）骨骼估计，（左下）凝视视频，（右下）肌肉力量的可视化（绿色、黄色、红色表示低、中、高肌肉张力）和正确姿势。

 

图6.根据Paletta等人[8]，针对拾取任务和任务无关问题的中间视图计算的启发式浓度水平（从1（低）到5（高）（中心）。

 

图7.任务切换（根据Paletta等人[8]计算），反映了第2阶段的高认知负荷。

 

讨论、结论和未来工作

这项实验表明，一种由眼动追踪眼镜和运动捕捉传感器组成的重量轻、不显眼的可穿戴设备可用于导出精神负荷和生物力学应变。从凝视数据中提取的启发式得分反映了工人的高集中度和高任务转换率。从提取的数量中，我们可以很容易地得出认知工作量过多的收费，例如，工人应该连续专注地工作不超过20-30分钟，否则疲劳会越来越严重，这反过来会大大增加工作中的风险因素。

此外，详细的生物力学应变信息被映射到职业专家的分数，并在很大程度上反映了专家的评估。

未来的工作将侧重于更复杂的眼动特征的应用，以及对更大人群的研究，我们已经在引入生物传感技术，以便对制造环境中人类因素和人体工程学的心理生理分析进行更基础的处理。

图8.在工作环境的3D模型和以自我为中心的视频帧中，从叠加了注视点（橙色）的眼睛跟踪眼镜中恢复3D注视几何（左）。

 

图9：现代工厂中的工作，代表装配工作单元中的拾取过程（左上）。这名工人戴着眼睛跟踪眼镜，戴着手套和四肢配有陀螺仪/加速计/磁力计等可穿戴设备，还背着一个装有笔记本的背包。从可穿戴设备中，我们计算了基于骨骼的人体姿势表示（右）。每个肌肉上的力根据从当前姿势导出的估计模型进行量化，并随时间绘制（蓝色，下图）。此外，我们通过使用基于职业的活动分析对视频记录的序列进行评级，对职业治疗师进行了类似地面真相的注释，描述了挑战肌肉功能的低（绿色）、中（黄色）和高（红色）程度[15]。

 

致谢

这项工作得到了施蒂利亚未来基金（“Zukunftsfonds Steiermark”，项目INCLUDE，编号1036）和奥地利联邦气候行动、环境、能源、移动性、创新和技术部（BMK）在项目MMASSIST（编号858623）和FLEXIFF（编号861264）内的支持。特别感谢Wolfgang Silly先生（KNAPP AG）对项目INCLUD的大力支持。

 

参考：

[1] A. Steinfeld, T. Fong, D. Kaber, M. Lewis, J. Scholtz and M. Goodrich, "Common metrics for human-robot interaction," in Proc.Human-robot interaction, ACM SIGCHI/SIGART, 2006.

[2] C.-M. Huang and B. Mutlu, "Anticipatory robot control for efficienthuman-robot collaboration," in Proc. ACM/IEEE HRI 2016, 2016.

[3] K. Fischer, L. Jensen, F. Kirstein, S. Stabinger, Ö. Erkent, D. Shuklaand J. Piater, "The Effects of Social Gaze in Human-Robot Collaborative Assembly," in Tapus A., André E., Martin JC., Ferland F., Ammi M. (eds), Social Robotics. ICSR 2015, Lecture Notes in Computer Science, vol 9388. Springer, Cham. https://doi.org/10.1007/978-3-319-25554-5_21, 2015.

[4] H. Admoni, A. Dragan, S. Srinivasa and B. Scassellati, "Deliberate delays during robot-to-human handovers improve compliance with gaze communication.," in Proceedings of the ACM/IEEE International Conference on Human-Robot Interaction (HRI) (pp. 49, 2014.

[5] K. Santner, G. Fritz, L. Paletta and H. Mayer, "Visual recovery of saliency maps from human attention in 3D environments," in Proc. Intrnational Conference on Robotics and Automation (ICRA), pp. 4297-4303, 2013.

[6] M. Klopschitz, R. Perko, G. Lodron, G. Paar and H. Mayer, "Projected Texture Fusion," in 10th International Symposium on

Image and Signal Processing and Analysis (ISPA 2017), Ljubljana, Slovenia, September 18-20, 2017,.

[7] R. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. Fitzgibbon, A. Davison, P. Kohli, J. Shotton and S. Hodges, "KinectFusion: Real-Time Dense Surface Mapping and Tracking," in 10th IEEE International Symposiumon on Mixed and Augmented Reality (ISMAR 2011), Oct. 2011..

[8] L. Paletta, M. Pszeida, H. Ganster, F. Fuhrmann, W. Weiss, S. Ladstätter, A. Dini, S. Murg, H. Mayer, I. Brijacak and B. Reiterer, "Gaze based Human Factors Measurements for the Evaluation of Intuitive Human-Robot Collaboration in Real-time," in Proc. 24^th IEEE Conference on Emerging Technologies and Factory Automation, ETFA 2019, Zaragoza, Spain, 2019.

[9] S. Garrido-Jurado, F. Madrid-Cuevas, R. Muñoz-Salinas and M. Marín-Jiménez, "Automatic generation and detection of highly reliable fiducial markers under occlusion," Pattern Recognition, pp. 47, 6 (June 2014), 2280-2292. doi=10.1016/j.patcog.2014.01.0, June 2014.

[10] L. Paletta, K. Santner, G. Fritz, A. Hofmann, G. Lodron, G.Thallinger and H. Mayer, "FACTS - A Computer Vision System for 3D Recovery and Semantic Mapping of Human Factors," in Proc.9th International Conference on Computer Vision Systems, ICVS 2013, LNCS 7963, pp. 62-72, Springer-Verlag Berlin Heidelberg, Sankt Petersburg, Russia, July 16-18, 2013, 2013.

[11] L. Paletta, M. Pszeida, B. Nauschnegg, T. Haspl and R. Marton, "Stress Measurement in Multi-tasking Decision Processes Using Executive Functions Analysis," in Ayaz H. (eds) AHFE 2019. Advances in Neuroergonomics and Cognitive Engineering. Advances in Intelligent Systems and Computing, Springer, 2019, pp. vol 953, pp. 344-356.

[12] A. Dini, C. Murko, L. Paletta, S. Yahyanejad, U. Augsdörfer and M. Hofbaur, "Measurement and Prediction of Situation Awareness in Human-Robot Interaction based on a Framework of Probabilistic Attention," in Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems, Vancouver, Canada, 2017.

[13] J. Shippen and B. May, "BoB – biomechanics in MATLAB," in Proceedings of 11th International Conference BIOMDLORE, 2016.

[14] M. Steyvers, G. E. Hawkins, F. Karayanidis and S. D. Brown, "A large-scale analysis of task switching practice effects across the lifespan," PNAS , pp. 17735-17740, September 3, 2019 116 (36) .

[15] H. Thomas, Occupation-based activity analysis, Thorofare, NJ: SLACK Incorporated., 2015.