开通VIP，畅享免费电子书等14项超值服
首页
好书
留言交流
下载APP
联系客服
2019.03.15
核心要点
人类大脑，是我们这个时代最大的奥秘之一，科学家还未对其工作方式达成共识。目前已有的关于大脑的两个理论分别叫做祖母细胞理论（grandmothercelltheory）和分布式表征理论。前一个理论认为，单个神经元具有很高的信息容量，能够表征复杂的概念，如你的祖母或甚至JenniferAniston（《老友记》女主角之一——译者）。后一个理论则认为，神经元要简单得多，而复杂的表征分布在许多神经元上。人工神经网络受到了第二种理论不够精确的启发。
我认为，目前这一代神经网络不具备感知（sentience，一个与智能不同概念）能力的一个原因在于，生物神经元远比人工神经元复杂。
大脑中的一个单个神经元就是一个极其复杂的机器，即使在今天，我们也还不能理解它。而神经网络中的一个「神经元」只是一个极其简单的数学函数，它只能获取生物神经元复杂性中极小的一部分。所以，如果要说神经网络模拟大脑，那也只在不够精确的启发水平上是对的，但事实上人工神经网络和生物大脑没什么相似之处。——吴恩达
大脑和神经网络之间的另一个巨大不同：大小和组织性。人类大脑包含的神经元和突触数量远多于神经网络，而且它们是自组织和自适应的。相对地，神经网络是根据一个架构进行组织的。神经网络的「自组织」非常和大脑的自组织并不是一个意思，它更类似于一张图标，而不是一张有序的网络。
最先进的大脑成像技术生成的有趣大脑视图
所以，那是什么意思？可以这样想：神经网络受到大脑启发，就像北京的奥运体育场的设计灵感源自鸟巢。这并不意味着，该奥运体育场就是一个鸟巢，只是说，鸟巢的一些元素存在于该体育场的设计中。换句话说，大脑的元素存在于神经网络的设计中，但它们的相似程度比你想象的低得多。
事实上，比起人类大脑，神经网络更接近于曲线拟合（curvefitting）和回归分析（regressionanalysis）等统计方法。我认为，在计量金融的背景中记住这一点很重要，虽说某件事物是「由大脑启发的」可能听起来很酷，但是，这一表述可能会导致不切实际的期望或担忧。
曲线拟合，亦即函数逼近。神经网络常被用来逼近复杂的数学函数
神经网络由互连节点层组成。单个节点被称为感知器（perceptron），类似于一个多元线性回归（multiplelinearregression）。多元线性回归和感知器之间的不同之处在于：感知器将多元线性回归生成的信号馈送进可能线性也可能非线性的激活函数中。在多层感知器（MLP）中，感知器按层级排布，层与层之间互相连接。在MLP中有三种类型的层，即：输入层（inputlayer）、隐藏层（hiddenlayer）和输出层（outputlayer）。输入层接收输入模式而输出层可以包含一个分类列表或那些输入模式可以映射的输出信号。隐藏层调整那些输入的权重，直到将神经网络的误差降至最小。对此的一个解释是，隐藏层提取输入数据中的显著特征，这些特征有关于输出的预测能力。
映射输入：输出
感知器接收输入向量，z=(z1,z2,…,zn)z=(z1,z2,…,zn)，包含n个属性。该输入向量被称为输入模式（inputpattern）。这些输入再通过属于感知器的权重向量v=(v1,v2,…,vn)进行加权。在多元线性回归的背景中，这些可被认为是回归系数或β系数。感知器的净输入信号通常是输入模式和其权重的总和产物。使用该总和产物得到净值(net)的神经元被称为求和单元（summationunit）。
净输入信号减去偏差θ后被输入一些激活函数f()。激活函数通常是单调递增函数，其值位于(0,1)或(-1,1)之间（本文后面将进一步对此进行讨论）。激活函数可以是线性的，也可以是非线性的。
下面是神经网络中一些常见的激活函数：
依次为：线性函数、阶跃函数、斜坡函数、S型函数、双曲正切函数、高斯函数
最简单的神经网络只有一个映射输入到输出的神经元。对于给定模式p，该网络的目标是相对一些给定的训练模式tp的一些一只的目标值来最小化输出信号op的误差。比如，如果该神经元应该映射p到-1，但却将其映射到了1，那么，根据距离的求和平方测定，神经元的误差为4，即(-1-1)^2.
分层
如上图所示，感知器被分层进行组织。感知器的第一层被称为输入层，它接收训练集PT中的模式p.最后一层映射到这些模型的预期输出。举一个输出的例子：模式可以是关于安全性的不同技术指标的数量列表，而潜在的输出则可能是{买进、持有、卖出}这样的分类。
隐藏层则将前一层的输出作为下一层的输入；而下一层的输出又会作为另一层的输入。所以，这些隐藏层到底在做什么？一个解释是，它们提取输入数据中的显著特征，这些特征可以预测输出。这个过程被称为特征提取（featureextraction），而且在某种程度上，其和主成分分析（PCA）等统计技术具有相似的功能。
深度神经网络具有大量隐藏层，有能力从数据中提取更加深层的特征。最近，深度神经网络在图像识别问题上取得了异常优异的表现。图像识别中的特征提取的图示如下：
除了过拟合（overfitting）的明显风险，我认为，用于交易的深度神经网络，在使用上所面临的一个问题是该神经网络的输入几乎总是经过了严重的预处理，这意味着实际可以提取的特征可能非常少，因为输入已经是某种程度的特征了。
学习规则
正如前面提到的那样，神经网络的目标是最小化一些错误度量（measureoferror）ε.最常见的错误度量是误差平方和（Sumsquarederror(SSE)）；尽管在金融市场的应用中，这种度量对异常值很敏感，而且可能没有跟踪误差（trackingerror）那样合适。
误差平方和：
鉴于该网络的目标是最小化ε，我们可以使用一种优化算法调整该神经网络中的权重。神经网络最常见的学习算法是梯度下降算法，尽管也可能使用其它算法和潜在更好的优化算法。梯度下降算法的工作方式是，计算相对于神经网络中每一层的权重的误差偏导数，然后在与梯度相反的方向上移动（因为我们想最小化神经网络的误差）。通过最小化误差，我们可以最大化神经网络在样本中的表现。
数学表示神经网络(v)中的权重更新规则由下式给出：
其中η是指学习率，控制着神经网络收敛的快慢程度。f相对于模式p的净输入信号的偏导数的计算是所有非连续激活函数所面临的问题，这不值一提；这也是可能使用可选优化算法的一个原因。学习率的选择对神经网络的表现有很大的影响。较小值的η可能导致非常慢的收敛，而较高值的η则可能导致训练中的大量偏差。
小学习率慢收敛，大学习率发散
总结
这张图表展示了三个流行的递归神经网络结构，即Elman神经网络，Jordan神经网络与Hopfield单层神经网络。
一个更新近、有趣的递归神经网络结构是神经图灵机器（NeuralTuringMachine），结合了存储器与一个递归神经网络。事实已经证明，这些神经网络是图灵完全（Turingcomplete）的，并能够学习分类算法和其他计算任务。
Boltzmann神经网络——最早的全连接神经网络之一，也就是Boltzmann机。这些网络是第一批能够学习内部表征、解决非常难的组合数学问题的网络。对Boltzmann机的一个解释是这样的：Hopfield递归神经网络的蒙特卡洛版。尽管如此，很难训练神经网络，但是，受到约束时，会比传统神经网络更有效。给Boltzmann机施加限制，最流行的做法就是不准许隐藏神经元之间建立直接联系。这一特殊结构被称为受限Boltzmann机（RestrictedBoltzmannMachine），被用于深度受限Boltzmann机（DeepBotlzmannMachines）。
图表展示了不同的波兹曼机（带有不同节点连接），如何能显著影响神经网络结果
深度神经网络——有着多层隐藏层的神经网络。近些年，深度神经网络已经成为最流行的网络，因为在图像和声音识别方面，它们取得了前所未有的成功。深度神经网络架构数量正在迅速增长，一些最受欢迎的架构包括深度信任网络（DeepBeliefNetworks），卷积神经网络，深度受限波兹曼机，栈化自动编码器，等等。深度神经网络最大问题之一，尤其是不稳定的金融市场环境下，是过度拟合。
多个隐藏层组成的深度神经网络
两个不同类型的自适应神经网络结构。左图是级联神经网络（cascadeneuralnetwork），右图是自组织映射。
径向基函数网络（Radialbasisnetworks）——尽管从感知与连接上来说并不是一个不同类型的结构，径向基函数网络利用径向基函数作为它们激活功能，这些是真实的重要功能，其输出从一个特定的角度来看取决于距离。最常用的径向基函数是高斯分布。由于径向基函数可以采用更加复杂的形式，他们最初用于执行函数插值。因此径向基函数神经网络可以有一个更高的信息能力。径向基函数还用于支持向量机（SupportVectorMachine）的内核。
利用径向基函数，如何实现曲线拟合
总之，有数百个神经网络结构，而且一个神经网络性能可以会显著优于另一个。有兴趣使用神经网络进行量化分析的人，可能要测试多个神经网络结构，并结合它们的输出一起考虑，要从总体上最大化他们的投资成绩。利用神经网络进行交易之前，我建议先阅读我写的《AllYourModelsareWrong，7SourcesofModelRisk》，因为里面谈到的不少问题仍然有用。
选择了一个架构后，你还要决定神经网络的规模大小。多少输入？应该使用多少隐藏神经元？又有多少要用的隐藏层（如果我们用的是深度神经网络的话）？多少输出神经元？这些问题之所以十分重要是因为如果神经网络太大（或太小），神经网络可能会出现过度拟合（或拟合不够），也就是说，网络无法顺利泛化样本。
该利用多少或哪些输入？
最后，但并非不重要的是，当选择变量是基于省略变量的偏见时，或许会引发统计学上的偏见。当创建一个模型，这个模型遗漏了一个或者更加重要的原因变量时，省略变量偏见会出现。
当模型通过过度或低估某个其他变量影响的方式，不正确地补偿漏掉的变量时，也会制造偏见。比如，权重会变得过大，或SSE（误差平方和）会过大。
我该使用多少隐藏神经元？
隐藏单元的最佳数目，是个细节问题。这也就是说，作为一条经验法则，隐藏层越多，过度拟合风险越大。当神经网络并没有学习数据的重要统计特征，而是「记忆」模式与他们可能收集到的任何噪音，过度拟合就会发生。在样本中，这个结果不错，但是，离开样本，这个结果没有说服力。如何避免过度拟合？在产业领域，有两种流行的方法：早期停止（earlystopping）和规则化（regularization），而我个人最喜欢的方法——全程检索。
早期停止，包括将训练组分为主要训练组和一个验证组。然后，不是以固定的迭代量来训练神经网络，而是训练网络，直到它在验证组上的表现成绩开始恶化。本质上，这能防止神经网络使用所有可以接触到的参数，并限制它简单记忆每一个所见模式的能力。这幅图显示了两个潜在的停止点（a和b）。
图片展示了神经网络在a到b进行阻止后的效果与过度拟合
规范化是指，神经网络利用复杂结构时，对其进行惩罚。可以根据神经网络权重大小来衡量这一方法的复杂性。可以这样实现规范化，添加一个条件（term），求平方误差目标函数，这个函数取决于权重大小。这相当于添加一个先验（prior），让神经网络相信它正在逼近的函数是平滑的。
n是神经网络中的权重数值。参数α与β控制着神经网络过度拟合或拟合不足程度。
我最喜欢的技术，也是到目前为止计算最昂贵的，就是全程搜索。在这一方法中，搜索算法被用来尝试不同的神经网络结构，最终做出一个近乎最佳的选择。人们经常使用基因算法来实现这个。
什么是输出？
神经网络能被用于回归或分类。在回归模型中，一个简单输出值可能被会被隐射到一组真实数字，这意味着只需要一个输出神经元。在分类模型中，针对模式可能被归入的每个潜在类别，系统需要一个输出神经元。如果类别是未知的，我们就要使用无监督神经网络技术，比如自组织映射。
总而言之，最好的办法是遵守奥卡姆剃刀原理。奥卡姆剃刀原理主张，对于两个性能相当的模型，自由参数更少的模型，其泛化效果越加。另一方面，绝不能通过牺牲效果，来选择过度简化的模型。类似地，人们不能去假设，仅仅因为神经网络有更多的隐藏层与隐藏神经元，它就一定优于更简单的网络。不幸的是，在我看来，人们似乎太重视大型网络，很少强调做一个好的设计决策。就神经网络而言，规模更大并不意味着效果更好。
神经网络的学习算法不断尝试优化神经网络的权重，直到遇到必须停止的情况。这种情况通常发生在网络的误差率降到了可接受水平时、验证集的误差率开始变差时、或指定的计算资源预算已被耗尽时。目前最常见的神经网络学习算法是反向转播（backpropagation）算法，这种算法使用了前文提到过的随机梯度下降。反向转播包括两个步骤：
前向传播——将训练数据集通过网络，记录下神经网络的输出并计算出网络的误差。
反向转播——将误差信号反向通过网络，使用梯度下降优化神经网络的权重。
这种算法存在一些问题：一次性调整所有权重将会导致权重空间中的神经网络出现明显的变化、随机梯度下降算法非常慢、对局部最小值敏感。对于一些特定的神经网络（包括所有的productlink神经网络）局部最小值是一个问题。反向转播算法的前两个问题可以通过使用梯度下降算法的变体来解决，例如动量梯度下降（QuickProp）、Nesterov加速动量（NAG）梯度下降、自适应梯度算法（AdaGrad）、弹性反向传播（RProp）和均方根反向传播（RMSProp）。下图可以看到，变体算法相比经典梯度下降算法可以有明显的提高。
需要指出的是，这些算法并不能完全解决局部最小值问题，而且在同时优化神经网络的架构和权重时用处也不大。为了得到所需的全局优化算法。两种流行的全局优化算法是粒子群优化算法（PSO）和遗传算法（GA）。下面是两者可被用来训练神经网络的方式：
神经网络向量表示——通过将神经网络编码为权重向量，每一个向量代表神经网络中一个连接的权重，我们可以使用大部分元启发式（meta-heuristic）搜索算法来训练这种神经网络。因为向量会变得太，这种算法在训练深度神经网络上效果不佳。
下图展示了将神经网络表示为向量并与搜索空间或适应度曲面的概念相联系的方式：
粒子群优化算法（PSO）——使用PSO训练神经网络可以构建一个这些神经网络的群体/集群。每个神经网络都可表示为权重的向量，并根据它在全局最优粒子中的位置和它自身最优的情况来进行调整。
在训练数据集一次前向传播之后，适应度函数将作为重构的神经网络的误差平方和进行计算。这个方法主要考虑的是权重更新的波动性。因为如果权重调整的太快，神经网络的误差平方和的变化将停滞，不会产生学习行为。
下图示出了在单一群体的粒子群优化算法中粒子是如何被其它粒子吸引的。
遗传算法——使用遗传算法训练神经网络，首先构建一个表示神经网络的向量的群体。然后对群体应用三项遗传因子以使其逐步进化成越来越好的神经网络。这三项遗传因子是：
1.选择——使用一次前向传播之后的误差平方和，对神经网络群体进行排序。群体中排名前x%的神经网络可「生存」至下一轮，被用于杂交。
2.杂交——将排名前x%的神经网络相互混合。这个过程生成了「子代」。这种情况下，每个后代都代表一个新的神经网络，其权重来自「亲代」神经网络。
3.变异——这个过程是为了保持群体的基因多样性。一小部分的群体被选中进行变异。这些神经网络的部分权重将在一个特定范围内随机调整。
下图展示了选择、杂交、变异遗传因子应用至由向量表示的神经网络群体的过程：
除了基于群体的元启发式搜索算法，用来训练神经网络的算法还包括加入动量的反向传播、差分进化法、LevenbergMarquardt算法、模拟退火法等。我个人推荐将局部最优算法和全局最优算法相结合，来克服两者的短处。
神经网络可以使用的三种学习策略，包括监督学习策略、无监督学习策略、增强学习策略。监督学习需要至少两个数据集，其中训练集由输入数据和预期输出数据组成，测试集只包含输入数据。这两个数据集的数据必须有标记，即数据模式是已知的。无监督学习策略一般用在没有标记的数据中以发现隐藏结构（例如隐藏的马尔科夫链）。其行为模式与聚类算法相似。增强学习基于对神经网络好的行为奖赏，对坏的行为惩罚这样一个简单前提。因为无监督学习和增强学习策略不需要带有标记的数据，所以它们可以应用在正确输出结果未知的非规范化问题上。
无监督学习
最流行的无监督神经网络架构之一是自组织映射（SelfOrganizingMap，也称为Kohonen映射）。自组织映射本质上是一个多维量度技术，其可在保存该数据集的拓扑结构的同时，构建一个基础数据集Z的概率密度分布函数的近似值。这是通过将数据集Z中的输入向量zi映射到特征映射V中的权重向量vj（神经元）实现的。保存拓扑结构意味着如果两个输入向量在Z中是相邻的，那么这些输入向量用V所映射神经元也是相邻的。
强化学习
强化学习策略由三个部分组成：一个指定神经网络如何进行决策的规则，例如使用技术分析和基本面分析；一个区分好坏的奖赏功能，例如挣钱vs.赔钱；一个指定长期目标的价值函数。在金融市场（和游戏领域）环境中，强化学习策略特别有用，因为神经网络可以学习对特定量化指标进行优化，例如对风险调整收益的合适量度。
下图展示了神经网络可以负面或正面增强。
神经网络可能不能工作的一个最大的问题是使用者没有对注入神经网络的数据做适当的预处理。数据标准化、冗余信息消除和异常点移除都应该被用以提高性能良好的神经网络的可能性。
数据标准化——神经网络由多层感知器组成，感知器由经过加权的连接相互连接。每个感知器包含一个拥有特定的「激活范围」的激活函数（径向基函数除外）。进到神经网络的输入需要被调整到激活范围内以使神经网络可以区分不同输入模式的差别。
举例来说，给定一个神经网络交易系统，该系统接收证券组合中提示需要售出或买入证券的输入和输出的指示信息。其中一个输入是证券的价格，我们使用S型激活函数。然而，大多数证券的成本在每股5美元和15美元之间，在S型激活函数输出值接近1.0。这样的话，所有证券的S型激活函数的输出值都将为1.0，所有的感知器都会失效，神经网络也无法学习。
异常点移除——一个异常点是指数据组中远大于或远小于其它数据的值。异常点会因为回归分析和曲线拟合等统计技术而出现问题，因为当该模型试图「容纳」异常值时，模型在所有其它数据上的表现都将下降。
上图展示了试图将异常值纳入线性回归模型所导致的数据集的糟糕匹配。异常点对包括神经网络在内的线性回归分析模型的影响是相似的。因此将异常点移出训练数据组是非常有必要的。
神经网络本身并不是黑箱。这将问题抛给了那些想要使用神经网络工具的人，比如，基金经理不会知道一个神经网络如何做出交易决策，因此也不可能评估这个神经网络学习到的交易策略的风险。类似地，那些使用神经网络为信用风险建模的银行也没法合理说明为什么一位客户有着特殊的信用评级。这是一个监管要求。话虽如此，但最先进的规则提取算法已被开发出来以透明化一些神经网络架构。这些算法从作为数学公式、符号逻辑、模糊逻辑或决策树的神经网络中提取知识。
数学规则——可以从神经网络中提取多重线性回归线的算法已被开发出来。这些技术的问题在于，这些规则往往是很难理解的，因此这些方法还是没有解决黑箱问题。
命题逻辑——命题逻辑是处理在离散值变量上完成的操作的数学逻辑的一个分支。这些变量，比如A或者B，通常要么为「真」，要么为「假」；但它们能覆盖一个离散范围里的值，如{买进，持有，卖出}这样的范围。
逻辑运算可以被应用于那些变量，比如OR,AND以及XOR。这些结果被称为谓词（predicates），可以用量词量化。这就是谓词和命题逻辑的区别。如果有个简单神经网络，其中，价格（P）,简单易懂均数SMA，指数移动均数EM作为输入，从命题逻辑神经网络中提取出一个遵从策略的趋势，或许可以得到类似这样的规则：
模糊逻辑—模糊逻辑就是概率与命题逻辑相遇之处。命题逻辑的问题在于那是一种绝对处理。比如，买入或者出售，真或伪，0或1。因此，交易者没有办法确定这些结果的可信度。模糊逻辑克服了这一局限性，因为引入了从属函数（membershipfunction），详细说明了一个变量多大程度上属于某个特定域。比如，一家公司（谷歌）可能属于一个域（买入）的可信度为0.7，属于另一个域（出售）的可信度为0.3。将神经网络与模糊逻辑结合起来，就是神经—模糊系统。这种研究调查讨论了各种模糊规则的提取技术。
决策树——决策树向我们展示了，给定信息后，如何做出决策。决策树推导是一个术语，指的是从神经网络中提取决策树这个过程。
例如，使用决策树来表示一个简单的交易策略。三角型表示决策节点，可以是买入、持有或者出售一家公司。每个长方块表示一个元组
10.神经网络不难实现
H20
H2O并不只是提供机器学习的算法包，也为使用大数据的智能应用提供了一套处理速度更快，更具可拓展性的机器学习API。他们的API提供了深度学习模型，通用加速模型和通用线性模型以及更多人工智能模型。
谷歌TENSORFLOW
TensorFlow是一项用于使用数据流图的数值计算的开源软件库。数据流图中的节点代表数学运算符，图像边缘则代表着在此间流动的多维数据数组(tensors)。这种灵活的架构帮助你在桌面电脑，服务器以及移动设备的CPU和GPU上部署计算任务，而不需要重写代码以适应各平台。
微软DMTK
DMTK包括以下项目：DMTK框架(Mutiverso)——分布式机器学习的参数服务器框架。LightLDA——可拓展，快速，轻量的大规模主题建模系统。分布式词嵌入：词嵌入的分布式算法。分布式skipgram混合物：分布式多感知词嵌入算法。
微软Azure机器学习
MXNET
MXNet是一为兼顾效率和灵活性而设计的深度学习框架。它允许用户混合符号式编程和指令式编程的特点，最大化程序执行效率和你的生产效率。它的核心，是一个自动并行化符号和指令操作符的动态依赖调度器。构建在顶层的图形优化层，使符号运算快速且节省内存。该算法库便携且轻量化，并且适配多种GPU和多种机器。
Neon
Neon是Nervana的基于深度学习框架的Python库，在很多常见的如AlexNet,VGG以及GoogLeNet深度神经网络取得了最快速的运算表现。我们按照以下功能设计:1)支持常用模型和样例:convnets,MLPs,RNNs,LSTMs,autoencoders。2)和用于fp16和fp32(benchmarks)的基于Maxwell架构的nervanaGPU内核密切联合。3)基本的自动微分支持。4)可视化框架。5)可交换的硬件后端...
Theano
Theano是一个允许用户高效地定义、优化和评估包含多维数组的数学表达式的Python库。它可以利用GPU来完成高效地符号区分。
Theano和TensorFlow及Torch一样，得到了比神经网络更加广泛的应用：它是一个整合现存的或利用现成的数据结构以及算法创建的机器学习模型的人工智能框架。
Torch
Torch是一个广泛支持机器学习算法的科学计算框架...其核心特性的摘要包括一个N维数组，索引流程，切片，转置，面向C的接口，通过LuaJIT，线性代数流程，神经网络，基于能源的模型，数值加速例程，快速和高效的GPU支持，嵌入式，面向iOS,Andriod和FPGA的端口。
像Tensorflow和Theano，Torch得到了比神经网络更加广泛的应用：它是一个整合现存的或利用现成的数据结构以及算法创建的机器学习模型的人工智能框架。
SciKitLearn
SciKitLearn是一个用于机器学习的Python包，非常受欢迎。基于NumPy,SciPy,和matplotlib开源，而且用于各种机器学习模型的实施：分类，回归，聚类，降维，模型选择和数据预处理等。
正如上文提及的，现在有数以百计的机器学习包和框架。讨论解决方案之前，我建议做个适当分析，看看哪种开源或者专属机器学习包或者软件最适合你的应用案例。总的说来，在软件工程以及针对计量金融的模型研发中，有一个需要遵循的好规则：不要重复造车轮。已经有了足够先进的模型，就不要再写自己的代码了。