LDSports：让谷歌折戟的AI流行病预测，在今天如何被创业公司攻占？

预测不得而知，仍然是人类十分憧憬的能力。近不说道国人熟知的周易八卦、唐代道士撰写的《推背图》，还有西方人熟悉的占星术、中世纪流行起来的塔罗牌，将近的比如说当年根据 “2012世界末日”这一玛雅应验影响下经常出现的全民疯狂和商业派对，仍然让我们记忆犹新。现在“不问苍生问鬼神”的时代早已过去，我们对物理世界及社会经济的确定性的、经验性的甚至概率性的预测都已轻车熟路。

但比如说像“蝴蝶效应”叙述的高度简单的、超多变量以及超大数据量的预测，人类还是束手无策么？答案并不是。近日，我国武汉新型冠状病毒疫情的愈演愈烈引发世界卫生组织和全球多地卫生机构的紧密注目。其中，《连线》杂志报导了“一家加拿大公司BlueDot通过AI监测平台首度预测和公布武汉经常出现传染疫情”的新闻，获得国内媒体的普遍注目。

这或许是我们在“预测未来”这件事上最想要看见的成果——利用大数据溶解基础和AI的推测，人类或许于是以需要推敲“天意”，说明了出有原本深藏于浑沌之中的因果规律，从而在天灾复活前企图挽回世界。今天我们就从传染病预测抵达，想到AI是如何一步步南北“神机妙算”的。

谷歌GFT频喊出“狼来了”：流感大数据的狂想曲用AI预测传染病似乎不是Bluedot的专利，只不过早在2008年，今天的AI“强手”谷歌，就曾展开过一次不过于顺利的尝试。2008年谷歌发售一个预测流感风行趋势的系统——Google Flu Trends（谷歌流感趋势，以下全称GFT）。

GFT一战崭露头角是在2009年美国H1N1愈演愈烈的几周前，谷歌工程师在《Nature》杂志上公开发表了一篇论文，通过谷歌积累的海量搜寻数据，顺利预测H1N1在全美范围的传播。就流感的趋势和地区分析中，谷歌用几十亿条检索记录，处置了4.5亿个有所不同的数字模型，结构出有一个流感预测指数，其结果与美国疾病掌控和防治中心（CDC）官方数据的相关性高达97%，但要比CDC提早了整整2周。在疫情面前，时间就是生命，速度就是财富，如果GFT能仍然维持这种“预见”能力，似乎可以为整个社会提早掌控传染病疫情夺得先机。

然而，应验神话没持续多久。2014年，GFT又再度受到媒体注目，但这一次毕竟因为它差劲的展现出。研究人员2014年又在《Science》杂志公布 “谷歌流感的寓言：大数据分析的陷阱” 一文，认为在2009年，GFT没能预测到非季节性流感A-H1N1。

从2011年8月到2013年8月的108周里，GFT有100周低过了CDC报告的流感发病率。低估了多少呢？在2011-2012季，GFT预测的发病率是CDC报告值的1.5倍多；而到2012-2013季，GFT预测流感发病率已成CDC报告值的2倍多。（图表来自The Parable of Google Flu: Traps in Big Data Analysis | Science，2014）尽管GFT在2013年调整了算法，并对此称之为经常出现偏差的罪魁祸首是媒体对GFT的大幅度报导造成人们的搜寻不道德再次发生了变化,GFT预测的2013-2014季的流感发病率，依然低于CDC报告值1.3倍。

并且研究人员前面找到的系统性误差依然不存在，也就是“狼来了”的错误依然在犯。究竟GFT遗漏了哪些因素，让这个预测系统陷于窘境？根据研究人员分析，GFT的大数据分析经常出现如此大的系统性误差，其搜集特征和评估方法有可能不存在以下问题：一、大数据刻薄（Big Data Hubris）所谓“大数据刻薄”，就是谷歌工程师得出的前提假设就是，通过用户搜寻关键词获得的大数据包括的即是流感疾病的全数据搜集，可以几乎代替传统数据搜集（取样统计资料），而不是其补足。

也就是GFT指出“收集到的用户搜寻信息”数据与 “某流感疫情牵涉到的人群”这个总体几乎涉及。这一 “固执”的前提假设忽略了数据量极大并不代表数据的全面和精确，因而经常出现在2009年顺利预测的数据库样本无法涵括在之后几年经常出现的新的数据特征。也是因为这份“轻视”，GFT也或许没考虑到引进专业的身体健康医疗数据以及专家经验，同时也未对用户搜寻数据展开“清除”和“去噪”，从而造成此后流行病发病率估值过低但又无力解决的问题。

二、搜索引擎进化同时搜索引擎的模式也并非一成不变的，谷歌在2011年之后发售“引荐涉及搜索词”，也就是我们今天很熟知的搜寻关联词模式。比如针对流感搜索词，得出涉及谋求流感化疗的list，2012年后还获取涉及临床术语的引荐。研究人员分析，这些调整有可能人为推高了一些搜寻，并造成谷歌对风行发病率的低估。举例来说，当用户搜寻“喉咙痛”，谷歌不会在引荐关键词得出“喉咙痛和感冒”、“如何化疗喉咙痛”等引荐，这时用户可能会出于奇怪等原因展开页面，导致用户用于的关键词并非用户原意的现象，从而影响GFT收集数据的准确性。

而用户的搜寻不道德反过来也不会影响GFT的预测结果，比如媒体对于流感风行的报导不会减少与流感涉及的词汇的搜寻次数，进而影响GFT的预测。这就像量子力学家海森堡认为的，在量子力学中不存在的“测不许原理”解释的一样，“测量即干预”，那么，在弥漫媒体报道和用户主观信息的搜索引擎的喧闹世界里，也某种程度不存在“预测即干预”悖论。搜索引擎用户的不道德并不几乎是自发性产生，媒体报道、社交媒体热点、搜索引擎引荐甚至大数据引荐都在影响用户心智，导致用户特定搜寻数据的集中于愈演愈烈。

为什么GFT的预测总是偏高？根据这一理论，我们可以告诉，一旦GFT公布的流行病预测指数增高，马上不会引起媒体报道，从而造成更加多涉及信息搜寻，从而又增强GFT的疫情辨别，无论如何调整算法，也转变没法“测不许”的结果。三、涉及而非因果研究人员认为，GFT的根源问题在于，谷歌工程师并不确切搜寻关键词和流感传播之间究竟有什么因果联系，而只是注目数据之间的——统计学相关性特征。过度尊崇“涉及”而忽视“因果”就不会造成数据不济的情况。比如，以“流感”为事例，如果一段时间词搜寻量上涨，有可能是因为发售一部《流感》的电影或歌曲，不一定意味著流感知道在愈演愈烈。

仍然以来，尽管外界仍然期望谷歌需要公开发表GFT的算法，谷歌并没自由选择公开发表。这让很多研究人员批评这些数据否可以反复重现或者不存在更加多商业上的考虑到。他们期望应当将搜寻大数据和传统的数据统计资料（小数据）融合一起，创立对人类不道德更加了解、精确的研究。似乎，谷歌并没推崇这一意见。

最后在2015年GFT月下线。但其仍在之后搜集涉及用户的搜寻数据，仅有获取给美国疾控中心以及一些研究机构用于。为什么BlueDot首度顺利预测：AI算法与人工分析的协奏曲众所周知，谷歌在当时早已在布局人工智能，2014年并购DeepMind，但仍然维持它的独立国家运营。

同时，谷歌也没GFT再行投放更加多注目，因此也未考虑到将AI重新加入到GFT的算法模型当中，而是自由选择了让GFT南北“安乐死”。完全在同一时期，今天我们所看到的BlueDot问世。BlueDot是由传染病专家卡姆兰·克汗（Kamran Khan）创建流行病自动监测系统，通过每天分析65种语言的大约10万篇文章，来追踪100多种传染病愈演愈烈情况。他们试图用这些定向数据搜集来得知潜在风行传染病愈演愈烈和蔓延的线索。

BlueDot仍然用于自然语言处置（NLP）和机器学习（ML）来训练该“疾病自动监测平台”，这样不仅可以辨识和回避数据中的牵涉到“噪音”，比如，系统辨识这是蒙古炭疽病的愈演愈烈，还意味着是1981年正式成立的重金属乐队“炭疽”的重逢。又比如GFT意味着将“流感”涉及搜寻的用户解读为有可能的流感病患者，似乎经常出现过多不涉及用户而导致流行病准确率的低估。这也是BlueDot区别于GFT在对关键数据展开筛选的优势之处。就像在这次在新型冠状病毒疫情的预测中， 卡姆兰回应，BlueDot通过搜寻外语新闻报道，动植物疾病网络和官方公告来寻找疫情信息源头。

但该平台算法不用于社交媒体的公布内容，因为这些数据过于过杂乱更容易经常出现更加多“噪音”。关于病毒愈演愈烈后的传播路径预测，BlueDot更加偏向于用于采访全球机票数据，从而更佳找到被病毒感染的居民的动向和行动时间。在1月初的时候，BlueDot也顺利预测了新型冠状病毒从武汉愈演愈烈后，几天之内从武汉蔓延至北京、曼谷、汉城及台北。

新冠病毒愈演愈烈并非是BlueDot的第一次顺利。在2016年，通过对巴西寨卡病毒的传播路径创建AI模型的分析，BlueDot顺利地提早六个月预测在美国佛罗里达州经常出现寨卡病毒。

这意味著BlueDot的AI监测能力甚至可以做预测流行病的地域蔓延到轨迹。从告终到顺利，BlueDot和谷歌GFT之间到底存在哪些差异？一、预测技术差异之前主流的预测分析方法采行的是数据挖掘的一系列技术，其中常常中用的数理统计中的“重返”方法，还包括多元线性重返、多项式重返、多因Logistic重返等方法，其本质是一种曲线的数值，就是有所不同模型的“条件均值”预测。这也正是GFT所使用的预测算法的技术原理。

在机器学习之前，多元回归分析获取了一种处置多样条件的有效地方法，可以尝试寻找一个预测数据犯规最小化且“数值优度”最大化的结果。但重返分析对于历史数据的无偏差预测的渴望，并无法确保未来预测数据的准确度，这就不会导致所谓的“过度数值”。

据北大国研院教授沈艳在《大数据分析的光荣与陷阱——从谷歌流感趋势谈到》一文中分析，谷歌GFT显然不存在“过度数值”的问题。也就是在2009年GFT可以仔细观察到2007-2008年间的全部CDC数据，使用的训练数据和检验数据找寻最佳模型的方法所参考的标准就是——不惜代价高度数值CDC数据。所以，在2014年的《Science》论文中认为，不会经常出现GFT在预测2007-2008年流感风行率时，不存在毁掉一些看起来怪异的搜索词，而用另外的5000万搜索词去数值1152个数据点的情况。

2009年之后，GFT要预测的数据就将面对更加多不得而知变量的不存在，还包括它自身的预测也参予到了这个数据对系统当中。无论GFT如何调整，它依然要面临过度数值问题，使得系统整体误差无法防止。

BlueDot采行了另外一项策略，即医疗、公共卫生专业知识和人工智能、大数据分析技术融合的方式，去追踪并预测风行传染病在全球产于、蔓延到的趋势，并得出最佳解决方案。BlueDot主要使用自然语言处置和机器学习来提高该监测引擎的效用。随着近几年算力的提高以及机器学习，彻底彻底改变了统计学预测的方法。

主要是深度自学（神经网络）的应用于，使用了“偏移传播”的方法，可以从数据中大大训练、对系统、自学，提供“科学知识”，经过系统的自我自学，预测模型不会获得大大优化，预测准确性也在随着自学而改良。而模型训练前的历史数据输出则显得最为关键。充足非常丰富的带上特征数据是预测模型以求训练的基础。

经过清除的优质数据和萃取合理标示的特征沦为预测能否顺利的重中之重。二、预测模式差异与GFT几乎将预测过程转交大数据算法的结果的方式有所不同，BlueDot并没几乎把预测转交AI监测系统。

BlueDot是在数据检验完后，不会转交人工分析。这也正是GFT的大数据分析的“相关性”思维与BlueDot的“专家经验型”预测模式的有所不同。AI所分析的大数据是挑选特定网站（医疗卫生、身体健康疾病新闻类）和平台（航空机票等）的信息。

而AI所得出的预警信息也必须涉及流行病学家的再度分析才能展开证实否长时间，从而评估这些疫情信息能否第一时间向社会发布。当然，就目前这些案例还无法解释BlueDot在预测流行病方面早已几乎取得成功。首先，AI训练模型否也不会不存在一些种族主义，比如为防止漏报，否不会过分高估流行病的相当严重程度，因而现身“狼来了”的问题？其次，监测模型所评估的数据否有效地，比如BlueDot慎重用于社交媒体的数据来防止过多的“噪音”？幸好BlueDot作为一家专业的身体健康服务平台，他们不会比GFT更加注目监测结果的准确性。

却是，专业的流行病专家是这些预测报告的最后公布人，其预测的准确度必要不会影响其平台信誉和商业价值。这也意味著，BlueDot还必须面对如何均衡商业化盈利与公共责任、信息对外开放等方面的一些考验。

AI预测流行病愈演愈烈，意味着是序曲……“收到第一条武汉冠状病毒警告的是人工智能？”媒体的这一标题显然让很多人吃惊。在全球一体化的当下，任何一地风行疾病的愈演愈烈都有可能短时间内传到全球任何一个角落，找到时间和预警通报效率就沦为防治风行疾病的关键。如果AI需要沦为更佳的流行病预警机制，那称得上世界卫生组织（WHO）以及各国的公共卫生身体健康部门展开流行病防治机制的一个办法。那这又要牵涉到到这些机构的组织如何说法AI获取的流行病预报结果的问题。

未来，流行病AI预测平台还必需获取流行病传染风险等级，以及疾病传播有可能导致的经济、政治风险的等级的评估，来协助涉及部门作出更加稳健的决策。而这一切，依然必须时间。

这些的组织机构在创建快速反应的流行病防治机制中，也应该把这一AI监测系统托上日程了。可以说道，此次AI对流行病愈演愈烈提早顺利地预测，是人类应付这场全球疫情危机的一抹亮色。期望这场人工智能参予的疫情防控的战役只是这场消耗战的序曲，未来应当有更加多有可能。

比如，主要传染病病原体的AI辨识应用于；基于主要传染病疫区和传染病的季节性风行数据创建传染病AI预警机制；AI帮助传染病愈演愈烈后的医疗物资的优化调配等。这些让我们拭目以待。

本文来源：乐动体育-www.baanzz.com