蘇州網站優化｜爬行抓取之蜘蛛

所謂的爬行和抓取，是搜索引擎工作的第一步。搜索引擎要向用戶提供信息，自己的數據庫里面就必須有龐大的數據量。所以，在網絡上搜尋有一定質量的內容放入自己數據庫是很重要的事情。

搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛（spider）。

robots協議

蜘蛛訪問網站頁面時，類似用戶訪問。不同的是，蜘蛛在訪問一個網站的時候，都會先訪問網站根目錄下的robots.txt文件。這個文件是網站和搜索引擎的一個協議，蜘蛛會遵守協議，不抓取被禁止的網址。

各搜索引擎蜘蛛

從訪問日志當中，可以看到各搜索引擎的蜘蛛命名方式不一樣：

Baiduspider百度蜘蛛

360spider 360蜘蛛

熟悉各家蜘蛛的名稱，對后期優化中，分析爬行日志有很大作用。
 

轉載：感謝您對唐紀鵬個人博客網站平臺的認可，以及對我們原創作品以及文章的青睞，非常歡迎各位朋友分享到個人站長或者朋友圈，但轉載請說明文章出處“來源唐紀鵬個人博客”。

閱讀量！ ()