登錄
玢銳云
百度搜索-開發者如何解除封禁百度蜘蛛
作者:SEO優化    時間:2020-08-04    閱讀量:
    近期收到一些開發者反饋,為什么網站或智能小程序資源的內容非常優質,但是沒有查詢到百度蜘蛛抓取記錄,或在百度搜索中沒有得到收錄和展現?
 
    在技術分析后發現,有些網站或智能小程序存在封禁百度蜘蛛的情況,導致百度蜘蛛無法正常抓取,所以無法在百度搜索中正常收錄和展現,或在搜索結果中的摘要展現為“存在robots封禁”字樣。
 
    為了讓廣大開發者的網站或小程序,在百度搜索中得到正常的收錄和展現,建議開發者及時根據以下內容自查,解除封禁問題,并通過鏈接提交工具主動提交給我們。
 
    常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。
 
    如何驗證網站和智能小程序是否存在封禁百度蜘蛛的情況?
 
    1、首先, 查看robots.txt文件,是否存在封禁記錄。(一般robots.txt文件放置在網站根目錄下。)
 
    【建議方案】解除robots封禁:robots封禁情況,請檢查robots.txt文件,及時修改。
 
    robots文件說明:https://ziyuan.baidu.com/college/articleinfo?id=1516
 
    2、robots文件無異常,進一步排查是否存在封禁百度UA情況;
 
    方案一:執行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
 
    注:正常返回碼是200,其他情況為異常。
 
    xxxxxxx為網站域名,如:http://abc.com.cn。
 
    正確識別和獲取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855
 
    方案二:變更瀏覽器UA驗證;
 
    【建議方案】解除百度UA封禁:查看網站反爬蟲策略,進行策略調整?;蜥槍Π俣萓A添加策略白名單。
 
    3、以上驗證均無異常,最后進一步排查是否存在IP級別的封禁;
 
    常見的IP封禁,源自網站的防火墻系統配置,需要查看防火墻配置系統后臺,檢查是否存在百度蜘蛛的IP級別封禁措施。
 
    【建議方案】解除百度IP封禁:查看網站反爬蟲策略,進行策略調整。
【主營業務】百度首頁優化、單詞快速排名、網站建設、百度愛采購、軟文編輯、排名系統加盟等!
如有意向---聯系我們
熱門欄目
熱門資訊
日本十八禁无遮掩视频_午夜神器18以下不能进免费版_中国老头和老妇tubepom_苏莫至尊武魂全文免费阅读_亲你下面的男人是不是很爱你_亚洲一道av无码播放