金融领域的机器学习——智慧金融

N-iX是一家位于乌克兰和波兰的软件开发外包服务提供商，专为政府部门、金融机构和各类企业提供数据驱动的各类服务，其中包括近年来日益火热的Fintech——智慧金融。作为一家拥有800多名技术专家、合作企业遍布全球的公司，他们对金融领域的机器学习又有什么见解呢？相信这篇文章能给各位读者一个答案。

对于很多人来说，金融领域的机器学习可能充满魔力，即便它背后并没有什么魔法（好吧，也许有一点点）。但我们应该清楚，机器学习项目的成功不是源于这项技术本身，而是更多地取决于过程中所构建的高效基础架构、合适的数据集和正确算法的使用。

现如今，机器学习正在金融领域大展宏图，那么渴望从新技术中获得突破的金融机构该关心些什么呢？这篇文章会向读者揭示，机器学习和AI究竟能实现什么解决方案，以及公司该如何应用这项技术。

定义

首先，我们可以把金融领域使用的狭义机器学习（ML）定义为数据科学的一个子集，它通过使用统计模型总结洞见，并进行预测。下图解释了金融领域的AI、数据科学和机器学习之间的关系。为了简单起见，本文会专注于介绍机器学习。

机器学习解决方案的神奇之处在于，它们能从经验中学习，而无需明确编程。简而言之，你选择一个模型，喂给它大量数据，之后它就会自动调整参数以提高预测准确率。

而数据科学家的核心工作就是将现有数据集用于训练机器学习模型，然后把训练好的模型应用于现实生活。

此图只反映金融领域情形，真正意义上的机器学习和数据科学不存在属于/不属于关系

这些模型是作为后台进程运行的，并根据其训练方式自动提供结果。数据科学家可以根据需要经常重新训练模型，保证它们的时效性和总体性能。比如Mercanto就每天都会部署重新训练。

通常情况下，你提供的数据越多，模型输出结果就越准确。这一点正中金融领域下怀，因为庞大的数据集在金融服务行业中非常普遍，无论是交易、客户，还是储蓄、汇款等PB数据，这些都很适合用于机器学习。

随着技术的发展和最佳算法的开源，我们很难想象如果没有机器学习，金融服务的未来会是什么样。从另一个角度看，这也意味着现在大多数金融服务公司还没有准备好来提取这一技术的真正价值，其中的原因主要有以下几个：

企业往往对机器学习及其产品抱有不切实际的期望。

人工智能和机器学习的研发、开发成本很高。

DS/ML工程师短缺是一个主要问题，下图展示了近几年机器学习技术需求的暴增。

在更新数据基础架构方面，老牌金融企业不够灵活。

我们会在后文慢慢讨论如何克服这些问题，但是首先，我们先来看看为什么金融服务公司不能忽视机器学习。

为什么金融领域需要机器学习？

尽管面临挑战，但许多金融公司还是已经开始在业务中利用起这项技术。下面是金融公司高管亲睐机器学习的原因：

自动化业务流程，降低运营成本。

提高了生产力，改善了用户体验，从而增加营收。

有利于保障、加强安全性、保密性。

有了各种各样的开源机器学习算法和工具，公司就能更好地把它们用于财务数据分析，此外，成熟的金融服务公司往往拥有大量资金，他们也负担得起在最先进的计算硬件上的花费。再加上金融领域存在大量定量历史数据，机器学习可以在这片沃土上大展拳脚。

至于落后者，随着社会发展，现实会证明漠视AI和ML可能是个代价高昂的选择。

机器学习在金融领域的应用

让我们来看看金融领域一些有前景的机器学习应用。

流程自动化（Process Automation）

流程自动化是机器学习在金融领域最常见的应用之一。它可以代替手动操作，由计算机自动执行重复性任务，提高企业生产率。

从这个角度看，机器学习机器学习使公司能够优化成本，改善客户体验并扩展服务。以下是PA的常见部署场景：

聊天机器人

呼叫中心自动化

文书工作自动化

员工培训游戏化等

如果这些概念太抽象，下面是一些公司的具体使用案例：

摩根大通——该公司推出了一个合约智能（COiN）平台，可以利用自然语言处理技术处理法律文件并从中提取重要数据。如果是人工审查，处理12,000份年度商业信贷协议需要消耗约360,000个工时，但机器学习在短短几个小时内就完成了这个工作量。

BNY Mello——该公司把流程自动化集成到他们的银行生态系统中，这项创新每年可为他们节省30万美元，并且大大提升运营效率。

Wells Fargo——该公司用Facebook Messenger平台上的AI聊天机器人和用户通信，让它们解决用户密码、账户方面的问题。

Privatbank——这是一家乌克兰银行，它在移动端和网络平台上都部署了聊天机器人客服，可以有效回答客户的各类问题，还减少了人工客服的数量。

安全

随着教育、用户和第三方支付平台数量的不断增加，财务所面临的安全威胁也正与日俱增。在这种情况下，机器学习堪称检测欺诈行为的利器。

银行可以用机器学习实时监控每个账户的数千个交易参数。算法可以通过检查持卡人的行为动作，确定他是不是用户本人。在金融服务中，各机构使用的模型通常都具有高精度的特征。

如果系统识别出了可疑账户行为，它可以请求用户提供额外的证明以验证交易。如果系统认为这是欺诈行为的概率高达95%，它可以完全终止交易。作为计算机，它的评估用时只需短短几秒，这有助于把犯罪苗头及时扼杀，而不是在事发后才发出警报。

财务监控是机器学习在金融领域的另一个安全用例。数据科学家可以训练一个可以检测大量小额支付记录的机器学习模型，用来标记可疑的洗钱行为。

此外，算法也可以显着增强网络安全性。由于机器学习在实时分析大量参数上的能力是首屈一指的，数据科学家有望利用它的这个优势发现、隔离网络威胁。这也是网络安全公司开始对这项技术产生兴趣的一大原因。

Adyen、Payoneer、Paypal、Stripe和Skrill，这些金融科技公司已经在机器学习网络安全上投入了巨资。

承保和信用评分

机器学习算法完全适合被用于金融和保险中常见的承保任务。

数据科学家在数千个客户档案中训练模型，每个档案都包含有关客户信用评分高低的数百个数据条目。这之后，完成训练的模型就可以在现实环境中执行相同的承保和信用评分任务。这种评分系统可以帮助人类员工更快、更准确地工作。

银行和保险公司都拥有大量历史消费者数据，因此他们可以用这些数据，或者用大型电信或公用事业公司生成的数据集来为客户评分。

例如，墨西哥最大银行BBVA Bancomer正与另一个信用评分平台Destacame合作，为拉丁美洲客户开发信贷准入机制。Destacame可以通过开放API访问公用事业公司的账单支付信息，利用这些历史支付行为数据，他们可以为客户生成信用评分并将结果发送给银行。

股票交易

在股票交易中，机器学习有助于做出更好的交易决策。数学模型可以通过实时监控新闻和交易结果，检测可能迫使股价上涨或下跌的事件，然后根据预测自动售出、持有或购入股票。

要知道，算法可以同时分析数千个数据源，这是人类交易员无法做到的。虽然机器学习模型不具备人类的“冒险”精神，始终在追逐小利，但鉴于大量的交易操作，这种小优势到最后通常会转化为巨额利润。

机器人顾问

机器人顾问，也称智能投顾，现在在金融领域已经是司空见惯的了。目前，这类机器学习应用的用途主要有两个：

投资组合管理。这是一种在线财富管理服务，它使用算法和统计数据来分配、管理和优化客户的资产。当用户输入自己的当前资产和预期目标后，比如到50岁时拥有100万美元，智能投顾会根据用户的风险偏好和期望目标把资产按比例分配到各投资产品中。

金融产品推荐。许多在线保险服务会用智能投顾向特定用户推荐个性化保险计划。由于费用较低，个性化定制更准确，客户也一般也更倾向于选择机器人顾问，而不是个人理财顾问。

如何利用机器学习？

尽管人工智能和机器学习拥有极大优势，但事实上，即便是拥有雄厚财力的公司，他们也无法从这项技术中提炼出真正的价值。金融服务公司正迫切希望能抓住它带来的独特机会，但他们对这个技术的运作原理和应用方式还只停留在一个模糊的概念上。

当部署机器学习模式时，他们会觉得缺少业务KPI，没法衡量改变；如果制定了KPI，他们就会对模型产生各种不切实际的期望，并导致预算耗尽。对于企业来说，拥有适合的软件基础设施是不过的（尽管这是个良好开端），他们需要一个清晰愿景、扎实的技术人才资源，以及开发有价值的机器学习项目的决心。

一旦你充分了解这项技术将如何帮助公司实现业务目标，之后才是构思、验证。这是数据科学家的任务：调研想法的可行性，帮助制定可行的KPI，并做出切合实际的估算。

请注意，如果企业要使用机器学习技术，请务必收集所有需要的数据。

放弃机器学习，转向大数据工程

通常情况下，如果一家金融公司突然觉得自己有必要开发机器学习服务，那么这有很大的概率是他们只是需要数据工程建设。高级数据科学家Max Nechepurenko曾分享自己的经验：

在开发[数据科学]解决方案时，我建议使用奥卡姆剃刀法则，越简单越好。大多数以机器学习为目标的公司实际上只需要数据工程，只要统计数据、分析数据，再把结果可视化，他们的问题就迎刃而解了。

最基础的数据分析工作足以让银行摆脱其运营中的各种瓶颈和低效率，比如消除重复性任务、提高人力资源调配效率、移动客户端缺陷筛查等。

更重要的是，任何数据科学项目的一个最重要的组成部分是构建协调的平台生态系统，让它能从数百个来源（如CEM、Excel等）中收集孤立数据。在应用算法前，首先，你要有数据，其次，你要对数据进行适当的预处理，这通常占项目总用时的80%。

使用第三方机器学习解决方案

即便公司决定在项目中部署机器学习，你也没有必要真的去自己开发新的算法和模型。

大多数机器学习工具都已经被制作出来了，谷歌、微软、亚马逊和IBM等科技巨头也将机器学习软件作为一种服务出售。只要经过训练，这些即用型解决方案可以解决公司所需的各种业务。如果公司自己开发，你能确保最终成果会比这些巨头的好用？

一个很好的例子是谷歌最近发布的AutoML，这类工具允许完全不懂机器学习的人根据任务目标定制机器学习模型，企业只要提供相关数据就可以了。虽然研究界内部对此争论不断，但对于工业应用来说，实用、方便、有效就行。

此外，现有机器学习算法并不适合所有问题，所以权衡取舍非常重要。

创新与整合

从头开始开发机器学习解决方案是风险最大、成本最高且耗时最久的选择之一。但对于某些特殊商业应用，自己开发是唯一的方法。

需要注意的是，如果是研究和开发针对特定利基市场的机器学习模型，你必须对该市场进行深入调查。如果没有为解决这些特定问题而开发的现成解决方案，那么第三方机器学习软件很可能会产生不准确的结果。

为了降低难度，你会不可避免地要用到谷歌等公司的开源机器学习资源。那么企业该怎么成功推进机器学习研发项目呢？以下是我们总结的7个特征：

一个明确的目标。在收集数据前，你首先要对AI、ML实现的结果有大致了解。

机器学习解决方案的强大架构设计。您需要经验丰富的软件架构师来执行此任务。

适当的大数据工程生态系统 （基于Apache Hadoop或Spark）是必不可少的。它可以从金融服务公司的众多孤立数据源中收集、集成、存储和处理大量数据，对于这个任务，大数据架构师和大数据工程师可以全权负责。

在新创建的生态系统上运行ETL过程。大数据架构师或机器学习工程师可以执行此任务。

最后的数据准备。完成数据预处理后，数据科学家还要进一步优化数据分析，使其适用于特定的业务案例。

使用适当的算法，基于这些算法创建模型，微调模型以及使用新数据重新训练模型。

洞察力。除了智能领域专家，你还需要一个好的前端来构建易于使用的UI仪表板。