前言 　　在工程中，有多种方法来构建一个关键值存储，并且每个设计都对使用模式做了不同的假设。在统计建模，有各种算法来建立一个分类，每一个算法的对数据集有不同的假设。 　　在处理少量的数据时，尽量多的去尝试更多的算法是合理的，并且去 选择最好的算法建立在实验成本低的情况下。但是，当我们碰到“大数据”时，就需要对数据进行前期分析，然后相应的设计建模流程。(例如预处理、建模、优化算法、评价，产品化) 　　现在出现了很多的算法，而且有几十种方法来解决给定的建模问题。每个模型假设不同的东西，如何使用和验证哪些假设是否合理的其实并不明显。在工业中，大多数从业者选择的建模算法，都是他们最熟悉的，而不是选择一个最适合数据的。接下来，我来分享一些经常我们会忽略并犯错的地方，谢谢大家指正点评!( 注：标题就用英语，感觉更贴近机器学习算法的原意 ) 　　1. Take default loss function for granted(理所当然的采用默认损失函数) 　　损失函数 是一个机器学习算法的核心，损失函数决定了最终优化后得到的参数以及模型本身。在不同的业务场景下，优化的目标应该是不同的。许多从业者训练和选择最好的模型，使用默认的损失函数(比如：均方误差)。在实践中，现成的损失函数很少与商业目标相一致。以诈骗侦查为例。当试图检测欺诈交易，商业目标是尽量减少欺诈损失。现有的二元分类器的损失函数同样衡量假阳性和假阴性。为了与商业目标一致，损失函数不仅要惩罚假阴性多于假阳性， 但也惩罚每个假阴性与美元金额的比例。 　　此外，数据集在欺诈检测通常包含高度不平衡的标签。在这种情况下，偏置的损失函数有利于罕见的情况下(例如：通过上/下采样)。 　　2. Use plain linear models for non-linear interaction(纯线性模型用于非线性相互作用) 　　这个同样是经常会犯的错误。当构造一个二分类问题，很多人就会直接想到Logistic回归， 原因很简单，因为逻辑回归效率高，实现容易。但是，大家往往都忽略了一点，逻辑回归本身就是一个线性模型，且非线性相互作用之间的预测需要手动编码。但是，真实数据是否线性可分却是我们未知的情况。由于高维数据下判断数据是否线性可分几乎是一个不现实的任务，所以个人的经验往往是先使用逻辑回归做一次分类，但是同时也会采用决策树，或者SVM等非线性模型来对该数据进行重新的分类比对。 　　返回欺诈检测，高阶交互特征如：“账单地址=发货地址和交易金额 < $50”需要良好的模型性能。因此，人们应该喜欢非线性模型，如SVM核函数或基于树的分类，有益于高阶交互特征。 　　3. Forget about outliers(忽略异常值) 　　异常值是个很有趣的事情，让你又爱又恨。根据上下文，他们要么值得特别关注，要么完全忽略。以收入预测为例。如果观察到不同寻常的收入高峰，这可能是一个好主意，要格外注意他们，找出什么原因引起的尖峰。但如果异常是由于机械误差，测量误差或其他造成则不适用，在将数据反馈到建模算法之前，滤除这些异常值是个好主意。 　　有些模型比其他更敏感异常值。例如，AdaBoost可以把这些异常值作为“难样本(Hard)”的情况下，把较大的权重放在异常值，而决策树可以简单地计算每个异常值作为一个错误分类。如果数据集包含了大量的异常值，着重的是，要么用鲁棒的模型算法去针对异常值，要么滤除异常值。 　　注：参考他人一段话。 　　我记得之前在统计之都上看过一篇文章对我启发很大，说曾经我们都愿意把异常值直接给丢掉，但是我们却忘记了异常值并非错误值，而同样是真实情况的表现，我们之所以认为异常，只是因为我们的数据量不足够大而已。文中还举了一个例子，说我们用计算机来模拟高斯分布，也一样会模拟出一些数据点落在N个标准差之外，而我们并不能说这是异常点，因为如果我们把这些点删除掉，这就不是一个高斯分布了。所以异常值很多情况下非但不能丢掉，还需要引起我们的足够重视和分析。 　　但是我们又要注意这个异常值是否是错误值，如果是错误值，这个时候我们就应该想办法把这些错误值去掉，因为这些错误往往会影响我们实际的模型效果。如果当训练数据中包含一些异常值的时候，我们就需要考虑模型的敏感性了，例如AdaBoost, Kmeans这种就属于对异常值很敏感的机器学习模型。 　　4. Use high variance model when n< 　　支持向量机是最流行的现有建模算法之一，其最强大的功能之一是能够适应不同核函数的模型。SVM核函数可以被认为是一种方法，自动结合现有的特征去 形成一个更丰富的特征空间。由于这个简单，大多数都会在训练SVM模型的时候默认使用核函数。然而，当数 据n<