我是靠谱客的博主 霸气小笼包,最近开发中收集的这篇文章主要介绍ssbc 手撕包菜运行一段时间就停止的原因,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

原文: ssbc 手撕包菜运行一段时间就停止的原因

ssbc 运行一段时间后,大概半个小时,就莫名奇妙停止不爬了,通过错误提示可以看出,其实是ssbc与mysql(maridb)断开连接了,导致程序异常,当然就插入不了数据了。

所以解决办法很简单,有多种解决办法:

  • 一种是写个脚本,定时重启爬虫。这种方法比较笨,效率低下,因为不知道什么时候爬虫停止了。
  • 另一种是修改下代码,当mysql断开连接时,再次重连mysql就可以拉。

附上方法二修改后的爬虫源码(simdht_worker.py) 

附件下载见原文

============更新======

上面只是修复了爬虫的问题,它只是负责抓取数据。index_worker.py是用来建立索引,和simdht_worker.py问题一样,运行一会儿就停止,导致无法搜索到新数据。所以也需要修复下

附件下载见原文

转载于:https://www.cnblogs.com/k1995/p/5699910.html

最后

以上就是霸气小笼包为你收集整理的ssbc 手撕包菜运行一段时间就停止的原因的全部内容,希望文章能够帮你解决ssbc 手撕包菜运行一段时间就停止的原因所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(48)

评论列表共有 0 条评论

立即
投稿
返回
顶部