爬蟲技術是什麼

網路爬蟲是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。

拓展資料：

它們被廣泛用於網際網路搜尋引擎或其他類似網站，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲一般分為資料採集，處理，儲存三個部分。　傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入佇列，直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為複雜，需要根據一定的網頁分析演算法過濾與主題無關的連結，保留有用的連結並將其放入等待抓取的URL佇列。