python小练习（094）：基于keras快速搭建神经网络（实战篇）之豆瓣电影评分系统（三）

jerryxjr1220

继续接上一期，上一期中我们成功爬到了2000多条电影评论，以pickle的形式保存。

现在我们就需要对这批数据进行筛选，并转化成我们需要的形式，以便后面进行神经网络的建模和训练。


我还是用了一个过滤函数来清洗数据，删除不必要的符号。

1. def filterword(s):
   
2.     sigbol = u' ，。“”~！@#￥%……&*（）——+=【】{}、|；：‘’《》？!#$^&()[]{};:",.<>/?\\-\n'
   
3.     for sig in sigbol:
   
4.         s = s.replace(sig, '')
   
5.         s = s.strip(' ')
   
6.     return s

复制代码

用pickle读取保存的评论数据

1. with open('comments.p') as f:
   
2.     comments = pickle.load(f)

复制代码

构建词汇表并去重，并转换标签数据

1. label = []
   
2. voca = []
   
3. filtered = []
   
4. for film in comments:
   
5.     for scores in comments[film][0]:
   
6.         label.append([0,0,0,0,0])
   
7.         score = int(scores)/10
   
8.         label[-1][score-1] = 1
   
9. 
   
10.     for comment in comments[film][1]:
    
11.         flt = filterword(comment)
    
12.         cutted = jieba.lcut(flt)
    
13.         filtered.append(cutted)
    
14.         for each in cutted:
    
15.             if len(each)>0:
    
16.                 if each not in voca:
    
17.                     voca.append(each)
    
18. voca = list(set(voca))        

复制代码

转换词向量

1. x_data = []
   
2. for each in filtered:
   
3.     voca_count = [0]*len(voca)
   
4.     for word in each:
   
5.         voca_count[voca.index(word)] += 1
   
6.     x_data.append(voca_count)

复制代码

转化为numpy数组形式

1. x_data = np.array(x_data)        
   
2. y_data = np.array(label)
   
3. 
   
4. print x_data.shape, y_data.shape

复制代码

输出：
(2023, 15225) (2023, 5)
可以看到，一共有2023组数据，转化好的词汇表有15225个词（基本上涵盖了常用的短语了，一般中文的常用词汇量在6000~10000左右）

储存转化好的数据，下次建模时就能直接使用了

1. with open('x_data.p', 'wb') as x:
   
2.     pickle.dump(x_data, x)
   
3.    
   
4. with open('y_data.p', 'wb') as y:
   
5.     pickle.dump(y_data, y)
   
6. 
   
7. with open('voca.p', 'wb') as v:
   
8.     pickle.dump(voca, v)

复制代码

至此，训练数据也已经准备完毕了。

完整源代码：

游客，如果您要查看本帖隐藏内容请回复

下一期中，会详细介绍整个建模及训练过程，并用测试数据进行测试。

再下一期中，会详细介绍如何把这套豆瓣电影评分系统运用起来，如何把一段电影评论快速的转化为电影评分。
我会通过一些实际的电影评论进行测试，看看这套系统是否真正得学习到了如何对电影进行评分。

敬请期待！

tyzam

楼主辛苦了，学习了

gopythoner

哈哈哈，看了你这个过滤函数我忍不住笑了一下
因为我之前一直有个疑问，就是replace()函数的替换为什么只能是字符串，要是可以直接把一整个列表里面包含的字符串都统一替换那该多好，然后我的方向是去找replace的用法，看了好几次官方文档说明也没找到可以批量替换的
然后看到你这个过滤函数，我突然有点自嘲了一下，明明可以自己写一个批量替换函数，为什么要把时间花在找官方的使用方法呢。。。。。。

Py小学生

95

macmac

前来学习一下

旋转风

get 一下

hinan

好好学习，天天向上

月亮下的么么哒

wandyking

特意过来学习python， 同时学习神经网络， 最近要用到

morton

thanks

USTB

谢谢楼主分享

USTB

请问楼主这个数据能分享一下吗

felix-6-6

楼主辛苦了，学习了

qaz123765

看看

草莓棉花糖之恋

666666