SoftMax回归可以用来进行两种以上的分类,很是神奇!实现过程实在有点坎坷,主要是开始写代码的时候理解并不透彻,而且思路不清晰,引以为戒吧!
最后写出似然估计:
之后采用梯度或牛顿方法进行逼近:
注意,上面公式采用的是批量梯度,随机梯度当然也是可以的。
#include <iostream>
#include <cmath>
#include <assert.h>
using namespace std;
const int K = 2;//有K+1类
const int M = 9;//训练集大小
const int N = 4;//特征数
double x[M][N]={{1,47,76,24}, //include x0=1
{1,46,77,23},
{1,48,74,22},
{1,34,76,21},
{1,35,75,24},
{1,34,77,25},
{1,55,76,21},
{1,56,74,22},
{1,55,72,22},
};
double y[M]={1,
1,
1,
2,
2,
2,
3,
3,
3,};
double theta[K][N]={
{0.3,0.3,0.01,0.01},
{0.5,0.5,0.01,0.01}}; // include theta0
double h_value[K];//h(x)向量值
//求exp(QT*x)
double fun_eqx(double* x, double* q)
{
double sum = 0;
for (int i = 0; i < N; i++)
{
sum += x[i] * q[i];
}
return pow(2.718281828, sum);
}
//求h向量
void h(double* x)
{
int i;
double sum = 1;//之前假定theta[K+1]={0},所以exp(Q[K+1]T*x)=1
for (i = 0; i < K; i++)
{
h_value[i] = fun_eqx(x, theta[i]);
sum += h_value[i];
}
assert(sum != 0);
for (i = 0; i < K; i++)
{
h_value[i] /= sum;
}
}
void modify_stochostic()
{
//随机梯度下降,训练参数
int i, j, k;
for (j = 0; j < M; j ++)
{
h(x[j]);
for (i = 0; i < K; i++)
{
for (k = 0; k < N; k++)
{
theta[i][k] += 0.001 * x[j][k] * ((y[j] == i+1?1:0) - h_value[i]);
}
}
}
}
void modify_batch()
{
//批量梯度下降,训练参数
int i, j, k ;
for (i = 0; i < K; i++)
{
double sum[N] = {0.0};
for (j = 0; j < M; j++)
{
h(x[j]);
for (k = 0; k < N; k++)
{
sum[k] += x[j][k] * ((y[j] == i+1?1:0) - h_value[i]);
}
}
for (k = 0; k < N; k++)
{
theta[i][k] += 0.001 * sum[k] / N;
}
}
}
void train(void)
{
int i;
for (i = 0; i < 10000; i++)
{
//modify_stochostic();
modify_batch();
}
}
void predict(double* pre)
{
//输出预测向量
int i;
for (i = 0; i < K; i++)
h_value[i] = 0;
train();
h(pre);
for (i = 0; i < K; i++)
cout << h_value[i] << " ";
cout << 1 - h_value[0] - h_value[1] << endl;
}
int main(void)
{
for (int i=0; i < M; i++)
{
predict(x[i]);
}
cout << endl;
double pre[] = {1,20, 80, 50 };
predict(pre);
return 0;
}
代码实现了批量梯度和随机梯度两种方法,实验最后分别将训练样本带入进行估计,迭代10000次的结果为:
stochastic:
0.999504 0.000350044 0.000145502
0.997555 0.00242731 1.72341e-005
0.994635 1.24138e-005 0.00535281
2.59353e-005 0.999974 6.07695e-017
0.00105664 0.998943 -1.09071e-016
4.98481e-005 0.99995 3.45318e-017
0.0018048 1.56509e-012 0.998195
0.000176388 1.90889e-015 0.999824
0.000169041 8.42073e-016 0.999831
batch:
0.993387 0.00371185 0.00290158
0.991547 0.0081696 0.000283336
0.979246 0.000132495 0.0206216
0.000630111 0.99937 4.9303e-014
0.00378715 0.996213 9.37462e-014
0.000299602 0.9997 3.50739e-017
0.00759726 2.60939e-010 0.992403
0.0006897 1.09856e-012 0.99931
0.000545117 5.19157e-013 0.999455
可见随机梯度收敛的更快。
对于预测来说,输出结果每行的三个数表示是:对于输入来说,是1 2 3三类的概率分别是多少。
分享到:
相关推荐
[Softmax_sgd(or logistic_sgd)]Softmax回归算法的实现,应用于MNIST数据集,基于Python+theano。 - **PCA** 基于python+numpy实现了主成份分析PCA算法 - **kNN** 基于python+numpy实现了K近邻算法,并将其应用在...
softmax regression 源代码 源码用的armadillo数学库,如何安装armadillo数学库,请看我的博客 http://blog.csdn.net/seamanj/article/details/49892715
通过建立Softmax Regression模型对简单的多分类问题进行求解,最终可以得出训练权重,并且绘制出训练数据可视化结果图
非线性回归 Logistic Regression 回归中的相关度和决定系数 回归中的相关性和R平方值应用 Kmeans算法 Kmeans应用 Hierarchical clustering 层次聚类 进阶 基本概念 软件包安装和环境配置总述 环境配置分部详解 ...
主成分回归代码matlab及示例R中的机器学习 这是我在机器学习期间开发的R脚本的存储库。 一些代码已从其原始Matlab实现中进行了改编并转换为R。...Softmax回归成本函数和梯度(softmax_cost) Softmax回归
C5_LogisticRegression C6_SVM C7_AdaBoost 预言 C8_回归 C9_CART 无监督学习 C10_K-均值 C11_Apriori C12_FP-增长 免费工具 C13_PCA C14_SVD 第二部分---> Coursera的研究-吴恩达的机器学习 线性回归 ...
A classifier is a machine learning tool that will take data items and place them into one of k classes. A probabilistic classifier, like this one, can also give a probability distribution over the ...
本文对威斯康星州的六种机器学习(ML)算法进行了比较: ,线性回归,多层感知器(MLP),最近邻(NN)搜索,Softmax回归和支持向量机(SVM)诊断性乳腺癌(WDBC)数据集通过测量其分类测试的准确性以及其敏感性和...
ml_algo:Dart编程语言中的机器学习算法
GDLibrary:MATLAB中的梯度下降库作者:最后页面更新时间:2017年4月19日最新库版本:1.0.1(有关更多信息,请参见发行说明)介绍GDLibrary是一个纯Matlab库,包含无约束优化算法的集合。 这解决了形式为min f(x)...
概念4 :Softmax分类 -聚类 概念1 :集群 概念2 :细分 概念3 :自组织图 -隐藏的Markov模型 概念1 :转发算法 概念2 :维特比解码 -自动编码器 概念1 :自动编码器 概念2 :将自动编码器应用于图像 概念3 :去噪...
Ytk-learn是一个分布式机器学习库,它实现了大多数流行的机器学习... 有关更多详细信息,请参阅文件资料实验我们将GBDT与和进行了比较,有关更多详细信息,请参见。环境要求要运行或开发ytk-learn,只需安装或并设置。
Softmax分类器; 多SVM分类器; 逻辑回归 神经网络,请参阅下面的详细信息。 无监督学习 主成分分析(降维问题); K均值(聚类)。 神经网络 激活:ReLu,Tanh,Sigmoid; 损失函数:Softmax,Multi SVM,物流。...
手势识别工具包(GRT) 手势识别工具包(GRT)是跨平台的,开放源代码的C ++机器学习库,旨在用于实时手势识别。 建立状态: 主分支: 开发分支: 当前版本: 有关GRT的重要信息: 该工具包包括两部分:全面...
Softmax回归(Softmax回归) 实例: Kmeans ++群集(K均值++聚类) 实例: 初级篇 理论推导 实例 北京市Pm2.5预测 成年人收入分类和Mnist手写数字识别和犯罪预测 中级文章(集成方法) 高级篇 乐网 亚历克斯网 ...