Question

robots.txt文件协议怎么写？

Answer 1

出于规则上讲，一般是不会抓取的，就像咱们需要赡养老人一样，只是道德、义务上的，实际操作中，有一些引擎是不安规则来的，比如之前爆出的360事件，就是因为没有遵守robots.txt的规则而被个大站长喷，但是也是无奈（因为毕竟已经做了）。