育才学习网1.如何评价一个好的推荐系统算法
我们把推荐当作是一个排名任务，这表示我们主要感兴趣的是一个相对较少的项，我们认为这些项最相关并把它呈现给用户。这就是众所周知的Top-k推荐。
把它和评级预测做比较，如Netflix的竞赛。2007年，Yehuda Koren（此次比赛的一个胜出者）指出，人们对使用RMSE作为一个指标并赞成使用RMSE指标存有疑惑，我们应该使用一个特定的排名指标。
然而，在我们有限的实验中，我们发现RMSE指标并不适用于排名。对我们而言，当调整用户留存率时，用于RMSE的矩阵分解优化表现的相当不错，但当从所有的可用项选择推荐时，却彻底地失败了。
我们认为原因是训练会集中于评分较高的项，同时对于这些项产生一个很好的拟合结果。而对于评分较低的项，在损失影响方面没有太大的意义。结果，对他们的预测会不平衡，使得与实际得分相比，一些得分较高，一些得分较低。最后，靠前的条目将显示在热门推荐一栏中，因而破坏了推荐结果。
换句话说，RMSE指标不能辨别真实的内情，而且我们需要特定的排名指标。
2.推荐算法的主要推荐方法的对比
各种推荐方法都有其各自的优点和缺点，见表1。 表1 主要推荐方法对比 推荐方法优点缺点基于内容推荐推荐结果直观，容易解释；不需要领域知识 新用户问题；复杂属性不好处理；
要有足够数据构造分类器 协同过滤推荐新异兴趣发现、不需要领域知识；随着时间推移性能提高；
推荐个性化、自动化程度高；
能处理复杂的非结构化对象 稀疏问题；可扩展性问题；
新用户问题；
质量取决于历史数据集；
系统开始时推荐质量差； 基于规则推荐能发现新兴趣点；不要领域知识 规则抽取难、耗时；产品名同义性问题；
个性化程度低； 基于效用推荐无冷开始和稀疏问题；对用户偏好变化敏感；
能考虑非产品特性 用户必须输入效用函数；推荐是静态的，灵活性差；
属性重叠问题； 基于知识推荐能把用户需求映射到产品上；能考虑非产品属性 知识难获得；推荐是静态的
3.推荐算法有哪些
推荐算法大致可以分为三类：基于内容的推荐算法、协同过滤推荐算法和基于知识的推荐算法。
基于内容的推荐算法，原理是用户喜欢和自己关注过的Item在内容上类似的Item，比如你看了哈利波特I，基于内容的推荐算法发现哈利波特II-VI，与你以前观看的在内容上面（共有很多关键词）有很大关联性，就把后者推荐给你，这种方法可以避免Item的冷启动问题（冷启动：如果一个Item从没有被关注过，其他推荐算法则很少会去推荐，但是基于内容的推荐算法可以分析Item之间的关系，实现推荐），弊端在于推荐的Item可能会重复，典型的就是新闻推荐，如果你看了一则关于MH370的新闻，很可能推荐的新闻和你浏览过的，内容一致；另外一个弊端则是对于一些多媒体的推荐（比如音乐、电影、图片等）由于很难提内容特征，则很难进行推荐，一种解决方式则是人工给这些Item打标签。 协同过滤算法，原理是用户喜欢那些具有相似兴趣的用户喜欢过的商品，比如你的朋友喜欢电影哈利波特I，那么就会推荐给你，这是最简单的基于用户的协同过滤算法（user-based collaboratIve filtering），还有一种是基于Item的协同过滤算法（item-based collaborative filtering），这两种方法都是将用户的所有数据读入到内存中进行运算的，因此成为Memory-based Collaborative Filtering，另一种则是Model-based collaborative filtering，包括Aspect Model,pLSA,LDA，聚类，SVD,Matrix Factorization等，这种方法训练过程比较长，但是训练完成后，推荐过程比较快。
最后一种方法是基于知识的推荐算法，也有人将这种方法归为基于内容的推荐，这种方法比较典型的是构建领域本体，或者是建立一定的规则，进行推荐。 混合推荐算法，则会融合以上方法，以加权或者串联、并联等方式尽心融合。
当然，推荐系统还包括很多方法，其实机器学习或者数据挖掘里面的方法，很多都可以应用在推荐系统中，比如说LR、GBDT、RF（这三种方法在一些电商推荐里面经常用到），社交网络里面的图结构等，都可以说是推荐方法。
4.推荐算法的组合推荐
由于各种推荐方法都有优缺点，所以在实际中，组合推荐（Hybrid Recommendation）经常被采用。研究和应用最多的是内容推荐和协同过滤推荐的组合。最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果，然后用某方法组合其结果。尽管从理论上有很多种推荐组合方法，但在某一具体问题中并不见得都有效，组合推荐一个最重要原则就是通过组合后要能避免或弥补各自推荐技术的弱点。
在组合方式上，有研究人员提出了七种组合思路： 1）加权（Weight）：加权多种推荐技术结果。 2）变换（Switch）：根据问题背景和实际情况或要求决定变换采用不同的推荐技术。 3）混合（Mixed）：同时采用多种推荐技术给出多种推荐结果为用户提供参考。 4）特征组合（Feature combination）：组合来自不同推荐数据源的特征被另一种推荐算法所采用。 5）层叠（Cascade）：先用一种推荐技术产生一种粗糙的推荐结果，第二种推荐技术在此推荐结果的基础上进一步作出更精确的推荐。 6）特征扩充（Feature augmentation）：一种技术产生附加的特征信息嵌入到另一种推荐技术的特征输入中。 7）元级别（Meta-level）：用一种推荐方法产生的模型作为另一种推荐方法的输入。
5.今日头条的新闻推荐算法是怎样的呢
今日头条开始逐步引入个性化推荐的策略。他们所采用的，是协同过滤（Collaborative Filtering）** + 基于内容推荐，直到今天依然构成今日头条推荐算法的基础。
（协同过滤）是一个很好的方法，直到今天我们还一直使用。但缺点也很明显，对于没有行为（记录）的文章，没办法推荐，所以没办法用于文章的冷启动。所以我们引入了基于内容推荐的策略。比如计算文章的分类、文章的关键词，然后根据用户对文章的阅读、浏览等信息，细化用户的个人资料。——这样子，如果文章是和科技相关的，而用户的个人资料也显示科技相关，那么就算匹配。”
在之后的工作，是把特征、模型做得更加细化。比如，文章实体词的抽取。我们最近对文章的分析，已经做得很细，可以精确地提取实体词。我们近期引入了‘词嵌入’（word embedding）方法，做向量化的分析，还引入 LDA 的方法，进行 topic 分析等等。
6.如何评价一个好的推荐系统算法 – 我爱机器学习
如何更好地掌握机器学习Colorado是伯克利大学的在读博士，同时也是Metacademy的创始人。
Metacademy是一个优秀的开源平台，许多专业人员共同在这个平台上编写wiki文章。目前，这些文章主要围绕着机器学习和人工智能这两个主题。
在Colorado的建议中，更好地学习机器学习的方法就是不断的通过书本学习。他认为读书的目的就是让心中有书。
一个博士在读生给出这样的建议并不令人惊讶，以前本站可能还推荐过类似的建议。这个建议还可以，但我不认为适用每个人。
如果你是个开发者，想实现机器学习的算法。下面列出的书籍是一个很好的参考，可以从中逐步学习。
机器学习路线图他的关于机器学习的路线图分为5个级别，每个级别都对应一本书必须要掌握的书。这5个级别如下：Level0（新手）：阅读《DataSmart:》。
需要了解电子表格、和一些算法的高级数据流。Level1（学徒）：阅读《MachineLearningwithR》。
学习在不同的情况下用R语言应用不同的机器学习算法。需要一点点基本的编程、线性代数、微积分和概率论知识。
Level2（熟练工）：阅读《》。从数学角度理解机器学习算法的工作原理。
理解并调试机器学习方法的输出结果，同时对机器学习的概念有更深的了解。需要有算法、较好的线性代数、一些向量积分、一些算法实现经验。
Level3（大师）：阅读《:》。深入了解一些高级主题，如凸优化、组合优化、概率论、微分几何，及其他数学知识。
深入了解概率图模型，了解何时应该使用以及如何解释其输出结果。Leval4（宗师）：随便去学吧，记得反馈社区。
Colorado针对每个级别中列出的书中章节阅读建议，并给出了建议去了解的相关顶级项目。Colorado后来重新发布了一篇博客，其中对这个路线图做了一点修改。
他移除了最后一个级别，并如下定义了新的级别：好奇者、新手、学徒、熟练工、大师。他说道，Level0中的机器学习好奇者不应该阅读相关书籍，而是浏览观看与机器学习有关的顶级视频。
机器学习中被忽视的主题ScottLocklin也阅读了Colorado的那篇博客，并从中受到了启发，写了一篇相应的文章，名为“机器学习中被忽视的想法”（文中有BorisArtzybasheff绘制的精美图片）。Scott认为Colorado给出的建议并没有充分的介绍机器学习领域。
他认为很少有书籍能做到这一点，不过他还是喜欢PeterFlach所著的《MachineLearning:》这本书，因为书中也接触了一些隐晦的技术。Scott列出了书本中过分忽视的内容。
如下所示：实时学习：对流数据和大数据很重要，参见VowpalWabbit。强化学习：在机器人方面有过讨论，但很少在机器学习方面讨论。
“压缩”序列预测技术：压缩数据发现学习模式。参见CompLearn。
面向时间序列的技术。一致性预测：为实时学习精确估计模型。
噪声背景下的机器学习：如NLP和CV。特征工程：机器学习成功的关键。
无监督和半监督学习。这个列表很好的指出了机器学习中没有注意到的领域。
最后要说明的是，我自己也有一份关于机器学习的路线图。与Colorado一样，我的路线图仅限于分类/回归类型的监督机器学习，但还在完善中，需要进一步的调查和添加所有感兴趣的主题。
与前面的“读这些书就可以了”不同，这个路线图将会给出详细的步骤。
7.怎么测试一个算法的性能,用什么软件
这个要从两个维度去考证：
一、测算指标，算法都是有数学理论基础的，在翻译成计算机程序后，算法的执行效率可以用赋值、比较、运算等操作次数，以及缓存、内存占用率等指标进行一定的估算，还应对算法效率进行计算，进行比较评估，包括迭代深度、循环/判断嵌套深度等指标。
二、实际测试，这个就是要把算法真的用计算机实现出来，将算法逻辑封装为函数、控件、组件等，可调用的独立环节（尽量减少非算法语句的干扰），然后进行实际调用，记录执行周期，分析实际性能。比如对比记录新旧算法单次执行的周期、固定数量多次执行的周期、执行期间资源占用率、多线程并发调用的执行效率等指标。
另外、对于实际测试，如果想用专业测试软件执行，可以用LoadRunner、Robot等专业软件测试工具执行相应操作，但是对于您的要求，我还是建议收集性能指标的程序最好自己写，其实并不复杂，就是调用您的算法组件，把执行时间等参数记下来。
转载请注明出处育才学习网 » 推荐算法测试怎么写(如何评价一个好的推荐系统算法)