播放清單

1/1 影片

網路爬蟲的基礎觀念與情景實作

講座系列

AI for Lawyers系列

課程分類

寒暑假營隊

講座日期

2022-07-05

講座地點

遠端線上連線

單位與講者

  • .主辦單位:財團法人理律文教基金會、東吳大學
  • .主講人:吳姿伶 小姐

講座介紹

網路爬蟲(web-crewler)是讓程式模擬人類操作電腦的行為,即「由用戶端向伺服器端提出請求,再由伺服器端回傳回應給用戶端」的過程,此過程透過電腦自動化後,能大量搜集特定資料。其中,爬蟲常用的套件包含:Requests、Urllib、Beautiful Soup、selenium,分別有不同的功能及特性。使用爬蟲時也有一些注意事項,例如請求應設定休息函數間隔、爬蟲的範圍、遵照Robots協議和網站規則等。完成所需資料的爬取後,可進一步的進行資料清整,最終以Excel、資料庫、TXT純文字等方式完成儲存。