手撕包菜磁力搜索引擎源码一键安装包

摘要：

手撕包菜是一个基于DHT协议的BT资源搜索引擎，所有资源来源于爬虫24小时从DHT网络自动抓取，所有排行数据由程序自动生成。我们不存储任何资源和种子文件，只索引种子meta信息并提供搜索服...

手撕包菜是一个基于DHT协议的BT资源搜索引擎，所有资源来源于爬虫24小时从DHT网络自动抓取，所有排行数据由程序自动生成。我们不存储任何资源和种子文件，只索引种子meta信息并提供搜索服务。

磁力链接是一种新型的分享形式，每个链接对应一个BT种子文件。您可以通过软件下载磁力链接指向的资源，例如迅雷、BitComet、QQ旋风，也可以使用云点播服务在线观看影视资源，例如迅雷云播、百度云盘等。

#!/bin/bash
#changelog:
#1.1添加开机自启动功能
#1.2修改pip获取方式
#1.3考虑到精简版系统的情况，自动安装wget与net-tools
python -V         
systemctl stop firewalld.service 
systemctl disable firewalld.service  
systemctl stop iptables.service 
systemctl disable iptables.service 
yum -y install wget
#如果使用linode主机，请取消下面4行的注释
#wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyuncs.com/repo/Centos-7.repo
#wget -qO /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
#yum clean metadata
#yum makecache
cd ~
wget https://github.com/78/ssbc/archive/master.zip
yum -y install unzip
unzip master.zip
#解压后 源码在/root/ssbc-master目录
yum -y install gcc
yum -y install gcc-c++
yum -y install python-devel
yum -y install mariadb
yum -y install mariadb-devel
yum -y install mariadb-server
cd ssbc-master
yum -y install epel-release
yum -y install  python-pip
pip install -r requirements.txt
pip install  pygeoip
systemctl start  mariadb.service
mysql -uroot  -e"create database ssbc default character set utf8;" 
sed -i '/!includedir/a\wait_timeout=2880000\ninteractive_timeout = 2880000\nmax_allowed_packet = 512M' /etc/my.cnf
mkdir  -p  /data/bt/index/db /data/bt/index/binlog  /tem/downloads
chmod  755 -R /data
chmod  755 -R /tem
yum -y install unixODBC unixODBC-devel postgresql-libs
wget http://sphinxsearch.com/files/sphinx-2.2.9-1.rhel7.x86_64.rpm
rpm -ivh sphinx-2.2.9-1.rhel7.x86_64.rpm
systemctl restart mariadb.service 
systemctl enable mariadb.service
searchd --config ./sphinx.conf
python manage.py makemigrations
python manage.py migrate
indexer -c sphinx.conf --all
ps aux|grep searchd|awk '{print $2}'|xargs kill -9
searchd --config ./sphinx.conf
#启动网站并在后台运行
nohup python manage.py runserver 0.0.0.0:80 >/dev/zero 2>&1&   
yum -y install net-tools
myip=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"`
while true; do
    read -p "确定浏览器能访问网站  http://$myip  吗?[y/n]" yn
    case $yn in
        [Yy]* ) cd workers; break;;
        [Nn]* ) exit;;
        * ) echo "请输入yes 或 no";;
    esac
done
#运行爬虫并在后台运行
nohup python simdht_worker.py >/dev/zero 2>&1&
#定时索引并在后台运行
nohup python index_worker.py >/dev/zero 2>&1& 
cd ..
python manage.py createsuperuser
#开机自启动
chmod +x /etc/rc.d/rc.local
echo "systemctl start  mariadb.service " >> /etc/rc.d/rc.local
echo "cd /root/ssbc-master " >> /etc/rc.d/rc.local
echo "indexer -c sphinx.conf --all " >> /etc/rc.d/rc.local
echo "searchd --config ./sphinx.conf " >> /etc/rc.d/rc.local
echo "nohup python manage.py runserver 0.0.0.0:80 >/dev/zero 2>&1& " >> /etc/rc.d/rc.local
echo "cd workers " >> /etc/rc.d/rc.local
echo "nohup python simdht_worker.py >/dev/zero 2>&1& " >> /etc/rc.d/rc.local
echo "nohup python index_worker.py >/dev/zero 2>&1& " >> /etc/rc.d/rc.local

===============================================================

上面的脚本已经做好并命名为ssbc.sh。上传到你的服务器上（我的路径是/root/下），运行脚本输入命令：

chmod 777 ssbc.sh
sh ssbc.sh

安装过程中会提示输入管理员用户名、密码、邮箱，输入后耐心等待即可访问http://IP

后台地址http://IP/admin

===============================================================

中文模板使用方法：ssbczw.zip

下载模板后解压然后用WinSCP等ftp工具上传到/root/ssbc-master/web/这个目录，选择全部替换。

这样基本上全部的配置就完成了，reboot重启搞定收工！

============================更新===============================

增加入库黑名单机制。下载ssbchmd.rar，下载后可直接使用，内附使用说明书。

========================代码常见问题===========================

必须centos7吗？

非常建议使用centos7，centos6可能会有意想不到的错误

————————————————————————————————————

如何设置首页关键字？

登录管理员后台，点击Rec keywordss，右上角新增

————————————————————————————————————

怎么查看入库的文件？

登录管理员后台，点击 Hashs 

————————————————————————————————————

怎么查看每天入库了多少文件，以便清楚入库效率？

登录管理员后台，点击 Status reports 

————————————————————————————————————

如何确认web服务器、采集、入库正在运行？

运行

ps -ef|grep python

结果里面如果有下面的代码：

python manage.py runserver 0.0.0.0:80
python simdht_worker.py
python index_worker.py

即表示正在运行。

————————————————————————————————————

去除搜索页 右下角广告

[root@localhost ssbc-master]# cd web/static/js
[root@localhost js]# vi ssbc.js   找到如下3行，在前面添加//进行注释，保存
// document.write('<script src="http://v.6dvip.com/ge/?s=47688"><\/script>');
// document.writeln("<script language=\"JavaScript\" type=\"text/javascript\" src=\"http://js.6dad.com/js/xiaoxia.js\"></script>");
// document.writeln("<script language=\"JavaScript\" type=\"text/javascript\" src=\"http://js.ta80.com/js/12115.js\"></script>");

————————————————————————————————————

如何修改扩展名归类？

workers/metautils.py文件中有如下代码：

def get_category(ext):
    ext = ext + '.'
    cats = {
        u'video': '.avi.mp4.rmvb.m2ts.wmv.mkv.flv.qmv.rm.mov.vob.asf.3gp.mpg.mpeg.m4v.f4v.',
        u'image': '.jpg.bmp.jpeg.png.gif.tiff.',
        u'document': '.pdf.isz.chm.txt.epub.bc!.doc.ppt.',
        u'music': '.mp3.ape.wav.dts.mdf.flac.',
        u'package': '.zip.rar.7z.tar.gz.iso.dmg.pkg.',
        u'software': '.exe.app.msi.apk.'
    }

意思是：扩展名为.exe、.app、.msi、,.apk的文件都属于software类型。

如果你把u'software': '.exe.app.msi.apk.' 改为 u'software': 'app.msi.apk.'，那么exe将会被归为other类型。

所以在这里修改归类设置。

————————————————————————————————————

如何禁止某些格式/分类的文件入库？

workers/metadata.py文件中有如下代码：

info['extension'] = metautils.get_extension(bigfname).lower()
info['category'] = metautils.get_category(info['extension'])

所以如果你要排除扩展名为.exe的文件，或者类型为software，可以在上面代码后面加上

##########这是增加的过滤-开始############
#按扩展名过滤，禁止扩展名为.exe的入库
if info['extension'] == 'exe':
    return # 直接返回，跳过下面的入库
#按文件类型过滤，禁止类型为software的入库
if info['category'] == 'software':
    return
#禁止类型为other的入库
if info['category'] == 'other':
    return
##########这是增加的过滤-结束############

————————————————————————————————————

如何重建索引？

第一步：

删除/data目录

第二步：

进入数据库，把search_hash表中所有记录的tagged字段置为0。

UPDATE search_hash SET tagged=0

然后启动sphinx、index_worker.py。

————————————————————————————————————

MySQL server has gone away提示怎么办？

ssbc 运行一段时间后，大概半个小时，就莫名奇妙停止不爬了。 错误提示如下：

MySQL server has gone away

通过错误提示可以看出，其实是ssbc与mysql(maridb)断开连接了，导致程序异常，当然就插入不了数据了。

有3种解决办法：

方法1是写个脚本，定时重启爬虫。 附件中的 ssbc-reboot.sh 脚本就是定时重启用的，需要配合Centos定时任务一起使用，命令如下（注意自己脚本上传的地址，下面是我用的地址举例，时间自己定，我的是30分钟自动重启爬虫）：

yum -y install vixie-cron crontabs
crontab -e
/30 * * * * sh /root/ssbc-reboot.sh

方法2是修改下代码，当mysql断开连接时，再次重连mysql就可以拉。

index_worker.py是用来建立索引，和simdht_worker.py问题一样，运行一会儿就停止，导致无法搜索到新数据。所以也需要修复下，替换的这2个文件已经在下面的下载文档中了，目录是 /ssbc-master/workers/。

方法3是修改Mysql配置，将闲置时间wait_timeout设置长一点，在/etc/my.cnf最后一行的下面添加：

wait_timeout=2880000
interactive_timeout = 2880000
max_allowed_packet = 512M

————————————————————————————————————

哪里设置爬虫线程？让爬虫爬快/慢点？

在workers/simdht_worker.py里面把MAX_QUEUE_LT、MAX_QUEUE_PT、max_node_qsize设大/小一点。

————————————————————————————————————

如何关闭调试模式？设置404页面？（我自己也试了好几次，发现不是很好用，索性不去管它了，就调试模式了）

请参考 http://www.githubs.cn/post/19

————————————————————————————————————

如何在搜索结果页面添加迅雷链接？

在web/views.py文件加入以下代码生成迅雷链接:

import base64
xunleiurl = 'AAmagnet:?xt=urn:btih:' + d['info']['info_hash'] + 'ZZ'
d['xunlei_url'] = 'thunder://' + base64.b64encode(xunleiurl)

可以在模板中用“ {{xunlei_url}} ”调用。位置要放在return render(request, 'info.html', d)的前面。

————————————————————————————————————

SSBC如何搬家？

数据库用mysqldump导出sql，在新服务器上运行一键包，再导入刚才的sql。

————————————————————————————————————

提示duplicate id 'xxxx'解决办法

进入数据库，执行语句

update search_hash set tagged=True where id=xxxx;

————————————————————————————————————

Q：如何限制爬取速度？

A：修改simdht_worker.py里的max_node_qsize=后面的数字

Q：修改数据库密码后怎么修改程序里的配置？

A：修改manage.py里的mysql+pymysql://root:后面的内容、修改simdht_worker.py里的DB_PASS、修改sphinx.conf里的sql_pass

————————————————————————————————————

搜索中文报错

‘ascii’ codec can’t encode characters in position 42-43: ordinal not in range(128)

解决办法：

如果是centos7系统，修改/usr/lib64/python2.7/site.py

vi  /usr/lib64/python2.7/site.py

在import sys下添加2行：

reload(sys)
sys.setdefaultencoding('utf8')

===============================================================

所有相关文件的下载地址：

链接：http://pan.baidu.com/s/1o8qdpGY 密码：2atu