Python机器学习库scikit-learn实践

一、概述 机器学习算法在近几年大数据点燃的热火熏陶下已经变得被人所“熟知”，就算不懂得其中各算法理论，叫你喊上一两个著名算法的名字，你也能昂首挺胸脱口而出。当然了，算法之林虽大，但能者还是有限，能适应某些环境并取得较好效果的算法会脱颖而出，而表现平平者则被历史所淡忘。随着机器学习社区的发展和实践验证，这群脱颖而出者也逐渐被人所认可和青睐，同时获得了更多社区力量的支持、改进和推广。 以最广泛的分类算法为例，大致可以分为线性和非线性两大派别。线性算法有著名的逻辑回归、朴素贝叶斯、最大熵等，非线性算法有随机森林、决策树、神经网络、核机器等等。线性算法举的大旗是训练和预测的效率比较高，但最终效果对特征的依赖程度较高，需要数据在特征层面上是线性可分的。因此，使用线性算法需要在特征工程上下不少功夫，尽量对特征进行选择、变换或者组合等使得特征具有区分性。而非线性算法则牛逼点，可以建模复杂的分类面，从而能更好的拟合数据。 那在我们选择了特征的基础上，哪个机器学习算法能取得更好的效果呢？谁也不知道。实践是检验哪个好的不二标准。那难道要苦逼到写五六个机器学习的代码吗？No，机器学习社区的力量是强大的，码农界的共识是不重复造轮子！因此，对某些较为成熟的算法，总有某些优秀的库可以直接使用，省去了大伙调研的大部分时间。 基于目前使用python较多，而python界中远近闻名的机器学习库要数scikit-learn莫属了。这个库优点很多。简单易用，接口抽象得非常好，而且文档支持实在感人。本文中，我们可以封装其中的很多机器学习算法，然后进行一次性测试，从而便于分析取优。当然了，针对具体算法，超参调优也非常重要。 二、Scikit-learn的python实践 2.1、Python的准备工作 Python一个备受欢迎的点是社区支持很多，有非常多优秀的库或者模块。但是某些库之间有时候也存在依赖，所以要安装这些库也是挺繁琐的过程。但总有人忍受不了这种繁琐，都会开发出不少自动化的工具来节省各位客官的时间。其中，个人总结，安装一个python的库有以下三种方法： 1）Anaconda 这是一个非常齐全的python发行版本，最新的版本提供了多达195个流行的python包，包含了我们常用的numpy、scipy等等科学计算的包。有了它，妈妈再也不用担心我焦头烂额地安装一个又一个依赖包了。Anaconda在手，轻松我有！下载地址如下：http://www.continuum.io/downloads 2）Pip 使用过Ubuntu的人，对apt-get的爱只有自己懂。其实对Python的库的下载和安装可以借助pip工具的。需要安装什么库，直接下载和安装一条龙服务。在pip官网https://pypi.python.org/pypi/pip下载安装即可。未来的需求就在#pip install xx 中。 3）源码包 如果上述两种方法都没有找到你的库，那你直接把库的源码下载回来，解压，然后在目录中会有个setup.py文件。执行#python setup.py install 即可把这个库安装到python的默认库目录中。 原文（原文更加详细）：http://blog.csdn.net/zouxy09/article/details/48903179