您的位置:首页 >观察评论 >

麻省理工学院的新神经网络:“液体”机器学习系统适应不断变化的条件

时间:2022-06-11 09:25:06 来源:

新型的神经网络可以帮助自动驾驶和医疗诊断方面的决策。

麻省理工学院的研究人员已经开发了一种在工作中学习的神经网络,而不仅仅是在培训阶段。这些被称为“液体”网络的灵活算法会更改其基本方程,以不断适应新的数据输入。这一进步可以帮助根据随时间变化的数据流做出决策,包括那些涉及医疗诊断和自动驾驶的数据流。

研究的主要作者拉米·哈萨尼(Ramin Hasani)表示:“这是未来机器人控制,自然语言处理,视频处理-任何形式的时间序列数据处理的前进方向。”“潜力确实很大。”

这项研究将在2月份的AAAI人工智能会议上进行。除了Hasani,麻省理工学院计算机科学与人工智能实验室(CSAIL)的博士后,麻省理工学院的合著者还包括CSAIL主任Daniela Rus,电气工程和计算机科学的Andrew and Erna Viterbi教授以及博士生Alexander Amini。其他合著者包括奥地利科学技术学院的Mathias Lechner和维也纳工业大学的Radu Grosu。

哈萨尼说,时间序列数据对于我们了解世界来说无处不在,而且至关重要。“现实世界全都与序列有关。甚至我们的感知-您不是在感知图像,而是在感知图像序列,”他说。“因此,时间序列数据实际上创造了我们的现实。”

他指出视频处理,财务数据和医疗诊断应用程序是对社会至关重要的时间序列示例。这些不断变化的数据流的沧桑可能是不可预测的。然而,实时分析这些数据,并使用它们来预测未来的行为,可以促进自动驾驶汽车等新兴技术的发展。因此,哈萨尼(Hasani)建立了适合该任务的算法。

Hasani设计了一种神经网络,可以适应现实世界系统的可变性。神经网络是通过分析一组“训练”示例来识别模式的算法。人们通常说它们模仿了大脑的加工路径-Hasani直接从显微镜的线虫C中汲取了灵感。线虫。他说:“它的神经系统只有302个神经元,但它却可以产生意想不到的复杂动力。”

Hasani对他的神经网络进行了编码,并特别注意howC。 elegansneurons通过电脉冲激活并彼此通信。在他用来构造神经网络的方程式中,他基于一组嵌套微分方程的结果,允许参数随时间变化。

这种灵活性是关键。大多数神经网络的行为在训练阶段之后是固定的,这意味着它们很难适应传入数据流中的变化。哈萨尼说,他的“液体”网络的流动性使其对意外或嘈杂的数据更具弹性,就像大雨遮挡了自动驾驶汽车上摄像机的视线一样。他说:“所以,它更坚固。”

他补充说,网络灵活性的另一个优势是:“这更容易解释。”

哈萨尼说,他的液体网络避开了其他神经网络常见的难解性。Hasani使用微分方程所做的“只要改变神经元的表示,就可以真正探索出某种程度的复杂性,而这些复杂性是其他方法所无法企及的。”由于Hasani的高表达神经元数量很少,因此更容易窥视网络决策的“黑匣子”并诊断网络为何具有特定特征。

哈萨尼说:“模型本身在表达能力方面更丰富。”这可以帮助工程师了解并改善流动网络的性能。

Hasani的网络在一系列测试中表现出色。在准确预测数据集的未来值(从大气化学到交通模式)方面,它使其他最新的时间序列算法的优势降低了几个百分点。他说:“在许多应用中,我们看到性能确实很高。”此外,该网络的规模小,意味着它无需花费高昂的计算成本即可完成测试。“每个人都在谈论扩大他们的网络,”哈萨尼说。“我们希望按比例缩小规模,以减少节点数量,但增加节点数量。”

Hasani计划继续改进该系统,并准备将其投入工业应用。“我们拥有一个受自然启发的更具表现力的神经网络。但这仅仅是该过程的开始。”他说。“显而易见的问题是,如何扩展这一范围?我们认为这种网络可能是未来情报系统的关键要素。”

参考:Ramin Hasani,Mathias Lechner,Alexander Amini,Daniela Rus和Radu Grosu的“液态时间常数网络”,2020年12月14日,计算机科学>机器学习。
2006.04439v4

这项研究部分由波音公司,美国国家科学基金会,奥地利科学基金会以及欧洲领先的电子元件和系统资助。


郑重声明:文章仅代表原作者观点,不代表本站立场;如有侵权、违规,可直接反馈本站,我们将会作修改或删除处理。