一个分散的消息收集和发布系统必须具有下列特征：
1. 基于S-Crapy开放源代码框架，通过云计算、Python、Mysql等技术，构建一种完全可实现、可操作的开放源代码信息收集系统，帮助记者完成工作任务。采编人员仅需输入所收集到的网址及题目即可迅速启动收集工作并进行信息归类。
2. 根据新的数据收集要求，采用云计算技术实现新的收集器的迅速部署。对于资料采集点的改版，更新，采集器可以进行智能响应。同时，系统的维护者也能迅速地更新数据收集系统，使之能够适应不断改变的网络环境。
3. 收集程序收集信息时，不会对站点的正常运行造成任何影响，也不会占据太多的网络带宽，当站点出现不提供服务时，收集程序会进行智能处理。
4. 收集到的信息，可以利用自动清理过程，去掉冗余的html代码，使其具有一致的格式，并根据话题和关键词，对其进行分类标签。
5. 可以在多个平台上一次点击发送该消息。
在这样的背景和要求之下，在对信息采集技术的工作原理，以及常见的爬虫框架、采集算法进行了深入的学习和研究，在对信息网站的结构特征进行了深刻的分析之后，结合采集对象的特征，将两种算法相结合，设计出了四种采集程序，并基于Soapy框架，采用了中间件技术，开发了动态浏览器标识和代理池。利用MySQL数据库和云平台虚拟化技术，构建了一套可靠性和可行性极高的分布式收集集群，提高了数据收集效率，利用PYQT5实现跨平台的信息发布程序，利用Selenium自动化工具，解决了网站登陆、网站查询以及模拟人工进行数据收集。利用FLASK技术实现了资料收集与管理系统及大屏幕的显示功能。另外，在数据清洗的基础上，通过数据清洗，格式转换，移除和增加对象，以达到数据的一致性。
本文以Python为基础，对外卖数据进行了分析，从而极大地降低了有关产业的资讯工作者的工作强度，为更快、更好、更方便地获得发布资讯，提供了技术支撑。到现在为止，这个系统已经从最初的收集对象，到最近的几百个国际和国内的站点，已经有一年多的时间了，收集到了395万条的数据。
