使用了非國(guó)內(nèi)服務(wù)器或者CloudFlare后，去站長(zhǎng)后臺(tái)抓取針對(duì)，經(jīng)常會(huì)出現(xiàn)抓取失敗，或者提示socket讀寫(xiě)錯(cuò)誤，cf對(duì)蜘蛛我感覺(jué)是不友好的，許多時(shí)候使用了cf網(wǎng)站打開(kāi)速度慢，蜘蛛抓取也有困難，會(huì)導(dǎo)致網(wǎng)站流量和SEO出現(xiàn)波動(dòng)!

　　其實(shí)導(dǎo)致搜索引擎抓取失敗的原因還有服務(wù)器不穩(wěn)定、人為操作失誤、DNS異常、域名服務(wù)商把搜索引擎蜘封禁、移動(dòng)聯(lián)通電信網(wǎng)絡(luò)運(yùn)營(yíng)商問(wèn)題、ip被封禁等，以上這些都不是東風(fēng)今天要說(shuō)的話題，我們就只看看使用CloudFlare或者反向代理后的抓取失敗問(wèn)題!下面我們看看怎么操做

　　1、準(zhǔn)備好自己的阿里云或者騰訊云賬號(hào)，下面我用自己的騰訊云來(lái)操作舉例

　　2、打開(kāi)騰訊云DNS網(wǎng)址 https://www.dnspod.cn/選擇DNS解析

　　3、添加域名 不要www.baidu.com,輸入頂級(jí)域名baidu.com即可

　　4、根據(jù)提示替換DNS，去域名管理替換掉原來(lái)的DNS

　　5、添加解析記錄，一條的線路類型選擇搜索引擎，也可以具體到百度還是搜狗等，記錄值填寫(xiě)真實(shí)的服務(wù)器IP，如果網(wǎng)站做了反向代理，就在添加一條記錄，記錄值選擇反向代理服務(wù)器的IP

　　通過(guò)以上5個(gè)步驟，CloudFlare或者反向代理后的抓取失敗問(wèn)題就解決了，因?yàn)榻o搜索引擎提供了抓取的ip，就不會(huì)在出現(xiàn)抓取失敗的問(wèn)題了!是否還有更好的處理方法，如果您知道的話，希望能和東風(fēng)分享，謝謝閱讀!