赠软件计划 最高待遇 欢迎谘询
QQ5825-5957

蓝冠测速:我们是否过度迷恋深度学习?

 


此次热潮的因素通常认为在人工智能(AI)投资、研究、及相关认知技术,深度学习神经网络的出现为机器的进化算法,以及相应的大量大数据和计算能力,使得深度学习实践。虽然深度学习已经非常流行,并显示出解决许多机器学习问题的实际能力,但深度学习只是机器学习(ML)的一种方法,虽然已经证明了在广泛的问题领域的能力,但仍然只是许多实用方法之一。我们越来越多地看到新闻和研究显示了深度学习能力的局限性,蓝冠怎么样?网络经过几代人的发展,每一代都产生了新的规范,技术和解决方案。此外,蓝冠测速已经成为新应用程序的基础连接平台,包括物联网设备,机器人技术,虚拟和增强现实以及移动游戏。以及深度学习方法的一些缺点。那么,人们对人工智能的热情是否与他们对深度学习的热情有关?深度学习真的能够兑现它的许多承诺吗?
 
深度学习的起源
 
人工智能研究人员一直在努力理解大脑是如何从人工智能领域发展的一开始就进行学习的。这并不奇怪,因为大脑主要是由相互连接的神经元组成的,人工智能研究人员试图通过人工神经元和这些神经元在人工神经网络中的连接来重建大脑的结构。早在1940年,Walter Pitts和Warren McCulloch就建立了第一个“阈值逻辑单元”,试图模拟生物神经元的工作方式。Pitts和McCulloch模型仅仅是一个概念的证明,但是Frank Rosenblatt在1957年随着感知机的发展,将这个概念发展到它的逻辑范围,他开始接受这个想法。虽然以今天的标准来看,感知机还很原始,但它仍然具有非凡的能力——它能够识别书写的数字和字母,甚至能够区分男性和女性的面孔。那是60多年前的事了!
 
Rosenblatt在1959年对感知机的承诺非常热情,当时他说感知机是“电子计算机的胚胎,(我们希望)它能够走路、说话、看、写、复制自己,并意识到自己的存在。”“听起来很熟悉?然而,这种热情并没有持续下去。人工智能研究员马文·明斯基(Marvin Minsky)指出,感知器对图像中的微小变化非常敏感,也很容易被愚弄。也许感知器并没有那么聪明。Minsky和AI研究员peer Seymour Papert基本上在他们的感知机书中分解了整个感知机的思想,并声称感知机,以及类似的神经网络,在处理某些类型的问题上有根本的缺陷,尤其是“非线性函数”。也就是说,很容易训练一个像感知器一样的神经网络来将数据分类,例如男性/女性,或者数字类型。对于这些简单的神经网络,你可以画出一堆数据,画一条线,说线的一边是一个类别,另一边是另一个类别,从而对它们进行分类。但是有一大堆的问题你不能像这样画线,比如语音识别或许多形式的决策。这些是非线性函数,Minsky和Papert证明了感知器无法求解。

在此期间,当神经网络方法逐渐成为人工智能领域的一个次要问题时,其他方法,包括知识图、决策树、遗传算法、相似模型和其他方法,也成为了人们关注的焦点。事实上,在此期间,IBM专门制造的深蓝(DeepBlue)人工智能计算机在一场国际象棋比赛中击败了加里•卡斯帕罗夫(Gary Kasparov),这是第一台这样做的计算机。然而,即使是这种学习方法也没有走多远,因为有些人说这个系统甚至一点都不智能。
 
然而,神经网络的故事并没有就此结束。1986年,人工智能研究者Geoff Hinton与David Rumelhart和Ronald Williams一起发表了一篇题为“通过反向传播错误来学习表征”的研究论文。在这篇论文中,Hinton和crew详细介绍了如何使用许多神经元的“隐藏层”来解决感知机面临的问题。有了足够的数据和计算能力,这些层可以被计算来识别他们可以分类的数据集中的特定特征,作为一个群体,可以学习非线性函数,这就是所谓的“普遍近似定理”。该方法通过将错误从网络的较高层反向传播到较低层(“后台”)来加速训练。现在,如果你有足够的层,足够的数据来训练这些层,和足够的计算能力来计算所有的互连,你可以训练一个神经网络来识别和分类几乎任何东西。1998年,研究人员Yann Lecun在美国电话电报公司贝尔实验室开发了LeNet-5,使用这种方法的迭代即卷积神经网络(CNNs)识别支票上的手写图像,研究人员yobengio和Jurgen Schmidhube进一步推进了该领域的研究。
 
然而,就像人工智能一样,当这些早期的神经网络无法扩展时,研究就停止了。令人惊讶的是,直到2006年Hinton带着未经监督的培训和深度信念网的想法重新出现在舞台上之前,几乎没有什么发展。这里的想法是有一个简单的两层网络,它的参数以一种无监督的方式训练,然后在它上面堆叠新的层,只是训练层参数。重复数十层,数百层,甚至数千层。最终你会得到一个“深层”的网络,它有很多层次,可以学习和理解一些复杂的东西。这就是深度学习的意义所在:使用大量训练过的神经网络层来学习任何东西,至少在一定的约束条件下。

2010年,斯坦福大学的研究人员李飞飞发布了ImageNet,这是一个包含数百万张标记图像的大型数据库。这些图像被标记了一系列分类,如动物或车辆,直到非常细的层次,如哈士奇或三轮车。这个ImageNet数据库与一个名为“大规模视觉识别挑战”(LSVRC)的年度竞赛相结合,看看哪个计算机视觉系统的分类和识别错误最少。2012年,杰夫·辛顿(Geoff Hinton)、亚历克斯·克里日夫斯基(Alex Krizhevsky)和伊利亚·萨斯基弗(Ilya Sutskever)提交了他们的“AlexNet”参赛作品,其错误率几乎是之前所有获奖作品的一半。使他们的方法胜出的是,他们从使用带有cpu的普通计算机,转向使用专门的图形处理单元(gpu),可以在合理的时间内训练更大的模型。他们还引入了现在标准的深度学习方法,如“dropout”,以减少一个叫做“过度拟合”的问题(当网络在样本数据上被训练得太紧,蓝冠怎么样?网络经过几代人的发展,每一代都产生了新的规范,技术和解决方案。此外,蓝冠测速已经成为新应用程序的基础连接平台,包括物联网设备,机器人技术,虚拟和增强现实以及移动游戏。不能推广到更广泛的数据上时),以及一种叫做“纠正线性激活单元”(ReLU)的方法来加速训练。在他们的比赛成功后,似乎每个人都注意到了,深度学习开始了。
 
深度学习的缺点
 
数据和计算能力是让深度学习之火熊熊燃烧的燃料。具体来说,需要大量标记良好的数据集来训练深度学习网络。层次越多,学习能力越强,但是要有层次,你需要有已经标记好的数据来训练那些层次。由于深度神经网络主要是一堆必须同时完成的计算,所以需要大量的原始计算能力,特别是数值计算能力。假设您同时调优一百万个旋钮,以根据输入系统的数百万条数据找到最佳组合,从而使系统能够学习。这就是为什么神经网络在20世纪50年代是不可能的,但今天它们是可能的。今天,我们终于有了大量的数据和大量的计算能力来处理这些数据。
 
深度学习正被成功地应用于广泛的领域,如自然语言处理、计算机视觉、机器翻译、生物信息学、游戏,以及许多其他应用领域,其中分类、模式匹配和使用这种自动调整的深度神经网络方法效果良好。然而,这些优点也有一些缺点。
 
最明显的缺点是,由于深度学习由很多层,每一个与许多相互连接的节点,每个配置了不同的权重和其他参数没有办法检查深学习网络,了解任何特定的决定,聚类或分类实际上是完成了。它是一个黑匣子,这意味着深度学习网络本质上是无法解释的。正如许多人在可解释AI (XAI)主题上所写的,用于做出重要决策的系统需要具有可解释性,以满足信任、遵从性、可验证性和可理解性等问题。虽然DARPA和其他机构正在研究如何解释深度学习神经网络,但对许多人来说,缺乏可解释性是一个重大缺陷。
 
第二个缺点是,深度学习网络非常擅长对信息进行分类和聚类,但并不擅长其他决策或学习场景。并不是每一种学习情况都是将某样东西分类或将信息分组到一个集群中。有时你必须根据以前学过的知识来推断该做什么。推理和推理不是深度学习网络的强项。

如前所述,深度学习也非常需要数据和资源。衡量神经网络复杂性的一个指标是需要学习和调整的参数数量。对于深度学习神经网络,可能有数亿个参数。训练模型需要大量的数据来调整这些参数。例如,语音识别神经网络通常需要tb级的干净标记数据进行训练。缺乏足够的、干净的、有标记的数据集将阻碍针对该问题领域的深度神经网络的发展。即使您有数据,您也需要处理它来生成模型,这将花费大量的时间和处理能力。
 
深度学习的另一个挑战是生成的模型非常特定于一个问题域。如果它是在特定的猫数据集上训练的,那么它只能识别这些猫,不能用于概括动物或用于识别非猫。虽然这不仅仅是机器学习的深度学习方法的问题,但当考虑到上面提到的过拟合问题时,它可能会特别麻烦。深度学习神经网络可以非常严格地约束(拟合)训练数据,例如,图像中即使是很小的扰动也可能导致图像的分类非常不准确。众所周知,由于图像数据的微小变化,海龟被误认为枪支,北极熊被误认为其他动物。显然,如果你在任务关键的情况下使用这个网络,这些错误将是重大的。
 
机器学习不是(只是)深度学习
 
考虑在业务中使用认知技术的企业需要从整体上考虑。机器学习不只是一种方法,而是各种不同类型的不同方法的集合,适用于不同的场景。一些机器学习算法非常简单,使用少量的数据和可理解的逻辑或推理路径,非常适合特定的情况,而另一些非常复杂,使用大量的数据和处理能力来处理更复杂的情况。关键是要认识到,深度学习并不是机器学习的全部,更不用说人工智能了。甚至连号称“深度学习的爱因斯坦”的杰夫•辛顿(Geoff Hinton)也开始反思深度学习的核心要素及其局限性。
 
组织的关键是理解哪些机器学习方法对于哪些问题领域是最可行的,蓝冠测速5G融合了边缘云的概念,这使云处理更接近边缘。结合强大的移动平台,蓝冠代理人员可以选择在边缘运行推理(即,当在现实世界中使用经过训练的AI模型时),或者将其发送到边缘云。以及在实践中如何计划、开发、部署和管理机器学习方法。由于人工智能在企业中的应用仍在不断被采用,尤其是这些更先进的认知方法,关于如何成功应用认知技术的最佳实践仍在不断成熟。