基于Scrapy爬虫的电影展示推荐系统

在当今信息爆炸的时代，互联网用户生活在信息的海洋里，海量的信息可以满足用户对信息的需求，但同时产生了新的问题，那就是用户容易在信息的海洋里迷失，很难快速的获取自己想要的信息。针对此类问题，传统的解决方式是基于被动式响应模式。搜索引擎、门户网站都是采用这种服务模式。该模式向用户展示的相同内容信息，用户还需自己花费大量时间去区分自己感兴趣的且有价值的信息。

如何精准的推送用户感兴趣的电影资源，从而提升用户的体验成为了问题。本系统基于这样的目的及初衷，来开发一套的电影推荐系统，希望提高用户的实用体验和节约用户的时间。

2.意义：

基于Scrapy爬虫的电影展示推荐系统能够迅速的从海量的信息中提取用户感兴趣的电影信息并推送给用户节省大量的时间。因此本系统可以改善用户的体验，随之产生的结果是用户对该系统的依赖度和忠诚度提升。

3.研究现状分析

现今时代过多的信息已经超出了互联网用户的对信息的需求，而且这些信息的质量良莠不齐，导致互联网用户对信息的处理能力、利用能力降低，以至于无法准确提取和运用有效信息。

推荐系统作为一种解决信息过载的方式，与传统的信息过滤技术不同在于它能针对不同的用户进行实时的推荐服务，而电影推荐作为推荐技术的的一个重要的应用方向，在生活中也有着广泛的应用，国内几家大的视频网站如搜狐视频、爱奇艺、优酷、腾讯视频等也相继推出了基于用户的视频内容的推荐服务。

推荐质量的好坏也就影响到了用户的体验，因此推荐系统的基础就是推荐算法。推荐算法一直是整个推荐系统研究的热点。虽然现在的推荐系统应用广泛，推荐系统的研究也取得了很大的成就，但是推荐的平均绝对误差仍然很大，推荐质量仍有提升空间。

（一）本课题的基本任务

本系统的基本任务：

1.前台页面能捕捉用户的有效点击事件传至推荐系统。

2.推荐子系统分析用户操作行为来进行个性化的推荐。

3.用户可以在前台管理自己的个人信息，浏览和评价电影。

4.登录时对账户权限进行认证，以此区别管理员页面和普通用户页面。

5.采用结构化设计，对后续的功能扩充留出余地。

本系统的功能模块：

用户功能模块：

1.登录注册 ：游客想要使用全部功能，需注册账号。

2.个人主页：编辑个人信息、查看收藏电影和对电影的评价。

3.收藏电影：用户可以根据自己的喜好决定是否收藏电影。

4.评价电影：反应用户对一部电影的评价信息。

5.搜索电影：该模块下，用户可以选择不同关键字来搜索电影，如按热度搜索、按类别搜索及按时间搜索等。

6.浏览推荐电影：获取存储在数据库中推荐信息，反馈给用户。

管理员功能模块：

1.超级管理员：可以对普通管理员信息进行增删改查。

2.电影管理：可以对电影信息进行增删改查。

3.普通管理员：可以对用户信息进行增删改查。

数据分析功能模块：

1.数据抓取：抓取电影网页的包括电影名、导演、演员和电影封面等电影基本信息，然后抓取电影影评。

2.数据过滤：过滤脏数据，保证数据干净。

3.电影推荐：在用户注册后进行电影信息的搜索，系统根据搜索内容来推荐评论积极的电影，在用户注册时填写的个人兴趣的信息，方便用户首次登录时首页进行推荐。

（二）拟解决的主要问题

1.搭建合适的框架及环境。

2.如何设计一个合理的数据库表，减少冗余，提高数据库表的操作性。

3.如何提高程序的交互性和设计一个交互性较高的界面，以此提高用户的体验

4.用户数据的安全问题，合理的设置数据库权限，特别针对用户的评论信息，采用时效性保存。