鱼C论坛

 找回密码
 立即注册
查看: 4240|回复: 22

[技术交流] python小练习(089):基于keras快速搭建神经网络(实战篇)之英语文章自动识别及分类

[复制链接]
发表于 2017-4-13 17:48:46 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
上两节的python小练习,已经介绍了如何利用keras快速搭建神经网络处理一些简单的数字图片和验证码。

今天就再深入一层,分享一下,如何利用keras搭建的神经网络处理英语文章的自动识别以及分类,之后还会逐步分享如果用神经网络来自动识别垃圾邮件,处理中文文章,语义分析,情感分析等等。

我先从网上随意截取了20段英语文章(段落),为了便于计算,我取了15段财经方面的文章,5段体育文章,分别进行了标记,分成2类。

用其中的18段进行训练,剩下的2段进行预测并验证。

标记的规则如下:
如果是财经文章,则标记为[1, 0],体育文章标记为[0, 1]

我一共训练了10次,先来看看训练结果。

Epoch 1/10
18/18 [==============================] - 17s - loss: 0.7673
Epoch 2/10
18/18 [==============================] - 17s - loss: 0.4939
Epoch 3/10
18/18 [==============================] - 17s - loss: 0.0781
Epoch 4/10
18/18 [==============================] - 17s - loss: 0.0595
Epoch 5/10
18/18 [==============================] - 17s - loss: 0.0495
Epoch 6/10
18/18 [==============================] - 17s - loss: 0.0422
Epoch 7/10
18/18 [==============================] - 17s - loss: 0.0365
Epoch 8/10
18/18 [==============================] - 17s - loss: 0.0320
Epoch 9/10
18/18 [==============================] - 17s - loss: 0.0283
Epoch 10/10
18/18 [==============================] - 17s - loss: 0.0253

从这10次训练效率来看,loss值在不断减小,说明机器确实在不断地学到东西。从最初的loss=0.76,降到了0.02,减小了38倍。

再来看看预测情况,我用剩余的2段财经文章做为输入,看看输出情况。
2/2 [==============================] - 0s
[[ 0.88444269  0.11555731]
[ 0.80667311  0.19332691]]

可以看到,机器判断第一篇文章是财经文章的概率为88%,第二篇文章是财经文章的概率是80%,判断还是相当准确的,而且可信度相当高。

这就是强大的机器学习!  

如果机器可以帮助我们自动分析文章,自动判断语义情感的话,那就可以用来做很多事情啦! 大开脑洞吧!

源代码如下:
游客,如果您要查看本帖隐藏内容请回复

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-4-13 17:54:51 | 显示全部楼层
本帖最后由 jerryxjr1220 于 2017-4-13 17:57 编辑

我查了下网上对于文章分类的实例资料相对还是非常少的,很大一部分都是在讲原理,这一节的小练习算是填补这方面的一个空白吧

如果在这方面深入挖掘一下,形成一篇机器学习方面的毕业论文一点都不困难,而且又结合目前最火的深度神经网络tensorflow,绝对高大上!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-4-13 21:22:03 | 显示全部楼层
只用numpy就行么...
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-4-18 21:23:44 | 显示全部楼层
大神!!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-3 09:41:31 | 显示全部楼层
学习了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-8 00:05:06 From FishC Mobile | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-18 20:41:55 | 显示全部楼层
学习下~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-6-15 16:32:51 | 显示全部楼层
继续学习中
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-6-26 10:50:20 | 显示全部楼层
try
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-8-30 10:19:32 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-12 10:09:34 | 显示全部楼层
厉害了,学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-2-23 22:44:03 | 显示全部楼层
这个应该就是传说中的智能推荐了吧..
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-5-8 15:33:39 | 显示全部楼层
了解下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-5-29 15:46:28 | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-18 22:35:58 | 显示全部楼层
特意过来学习python, 同时学习神经网络, 最近要用到
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-8 22:06:29 | 显示全部楼层
超级清楚
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-15 15:42:22 | 显示全部楼层
厉害,学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-7-15 23:45:28 | 显示全部楼层
学习学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-1-29 23:52:45 | 显示全部楼层
1111
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-1-29 23:53:34 | 显示全部楼层
11
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 13:29

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表