SVM相关问题 发表于 2018-01-30 | 分类于 机器学习 支持向量机是一种线性分类器 :基本思想是在两类线性可分条件下,所设计的分类器界面使两类之间的间隔为最大,它的基本出发点是使期望泛化风险尽可能小。(使用核函数可解决非线性问题) SVM的目标是找到使得训练数据尽可能分开且分类间隔最大的超平面,应该属于结构风险最小化。 SVM可以通过正则化系数控制 ... 阅读全文 »
数据预处理——归一化、离散化 发表于 2018-01-30 | 分类于 器学习 这篇主要总结了七月在线题库中机器学习模块关于归一化和离散化的题目解析。里面的答案部分来自其他的博客。 归一化归一化的内容在《相似性计算——几种距离度量》里面也做了简单的介绍。 哪些机器学习算法不需要做归一化处理?概率模型不需要归一化,因为它们不关心变量的值,而是关心变量的分布和变量之间的条件概率,如 ... 阅读全文 »
梯度下降法和牛顿法的简介和比较 发表于 2018-01-30 | 分类于 机器学习 梯度下降法梯度下降法是学习机器学习的线性回归最先遇到的优化算法。对损失函数,求其梯度,找到下降最快的方向。 梯度下降法的算法流程如下: 首先对θ赋值,这个值可以是随机的,也可以让θ是一个全零的向量。 改变θ的值,使得J(θ)按梯度下降的方向进行减少。 梯度下降法需要注意的是,除了二次凸优 ... 阅读全文 »
hive运行时container内存溢出错误以及解决方法 发表于 2018-01-29 | 分类于 Hive 错误提示代码 Container killed on request. Exit code is 143 参考博客http://blog.csdn.net/yijichangkong/article/details/51332432 错误描述SQL三张表做join运行出错; 用hive执行报错如下 ... 阅读全文 »
新建项目没有新建scala类这个选项 发表于 2018-01-24 | 分类于 Scala 问题描述IDEA集成环境下,新建一个scala的maven项目,在新项目的src-main-scala目录下右击选择“新建”,结果可以新建的选项里面没有scala类这个选项。差评~ 原因这是因为没有设置scala文件夹为source文件夹。 解决方法点击file-project structure- ... 阅读全文 »
安装Gensim的攻坚战 发表于 2017-06-14 | 分类于 Python Python小白安装Gensim的报错&&解决之路官网教程:http://radimrehurek.com/gensim/install.html发现不能直接使用pip install –upgrade gensim,因为报错了: numpy.distutils.system_inf ... 阅读全文 »
Hello World 发表于 2017-06-10 Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in ... 阅读全文 »
Scala学习笔记DAY2--控制结构和函数 发表于 2017-06-02 | 分类于 Scala 在Scala中,换行可以代替分号的作用 条件表达式Scala的if/else表达式有值,这个值就是跟在if或者else之后的表达式的值。在Scala中每个表达式都有一个类型。比如if (x>0)1 else -1的类型是Int;混合类型表达式if(x>0) “positive” else ... 阅读全文 »
Scala学习笔记DAY1 发表于 2017-06-01 | 分类于 Scala Scala实际使用的是java虚拟机进行操作。他将输入迅速转为字节码,交给JVM执行,然后将执行结果显示在命令行界面,然后继续等待输入。 Scala声明值和变量使用val定义一个常量,无法改变这个常量的值,无法通过再次赋值改变;需要注意的是res变量都是val的。 使用var定义一个变量,但是不能 ... 阅读全文 »