python3爬蟲中引用Queue的例項講解

2023-03-18 23:35:32 字數 960 閱讀 9408

我們去一個受歡迎的地方買東西,難免會需要排隊等待。如果有多個視窗的話,就會有不同佇列的產生,當然每個隊伍的人數也會出現參差不齊的現象。我們今天所要說的queue就可以理解成生活中的排隊現象。那麼結合我們所要用的爬蟲知識,應該怎麼在queue中應用呢?接下來就開始今天的內容學習:

佇列這種東西大家應該都知道,就是一個先進先出的資料結構,而python的標準庫中提供了一個執行緒安全的佇列,也就是說該模組是適用於多執行緒程式設計的先進先出(first-in,first-out,fifo)資料結構,ccsusiiqwl可以用來在生產者消費者執行緒之間安全地傳遞訊息或其他資料。它會為呼叫者處理鎖定,使用多個執行緒可以安全地處理同一個 queue 例項。queue 的大小(其中包含的元素個數)可能要受限,以限制記憶體使用或處理。

在python 3中要引入queue和pythccsusiiqwlonwww.cppcns.com 2中引入queue是不同,引入方式如下:

#python 2

import queue

# python 3

from queue import queue

因為是執行緒安全的,很自然就可以利用queue來實現一個多執行緒爬蟲咯,而queue的一些常見操作如下:

# 例項化一個佇列,可以在指定佇列大小

q = queue.queue()

q_50 = queue.queue(50) # 指定一個長度為50的佇列

# 入隊一個資料data

程式設計客棧q.put(data)

# 出隊並賦值給item

item = q.get()

# 判斷佇列是否為空,是否滿

if q.empty():

print('佇列為空')

if q.full():

print('佇列滿')

另外,除了普通佇列,標準庫中還有優先佇列和後進先出佇列這兩個佇列,分別為lifoqueue和priorityqueue,其引用方式與queue類似。

Python中的爬蟲

路漫漫其修遠兮,吾將上下而求索 堅持學習爬蟲,一方面是因為其實踐性強,恰好滿足於一個初學者的好奇心,能夠操作,也會恰到好處,不會讓初學的我望而生畏。另一方面,確實是因為其實用性強,功能強大。在網際網路時代,我們在大資料中抓取資料無疑就是大海撈針,確實得需要爬蟲這樣的技術來代替人工操作,快速的獲取對我...

Python爬蟲中requests模組的兩種請求

步驟 1.導包 import requests 2 確定請求的url base url 3.傳送請求,獲取響應。response requests.get url base url,請求的url headers 請求頭 params 請求引數字典 base url header key 區塊鏈 pa...

python2 爬蟲 爬蟲5 python2

使用 beautiful soup 解析資料 感謝東哥 有的小夥伴們對寫正規表示式的寫法用得不熟練,沒關係,我們還有一個更強大的工具,叫beautiful soup,有了它我們可以很方便地提取出html或xml標籤中的內容,實在是方便,這一節就讓我們一起來感受一下beautiful soup的魅力 ...

python爬蟲 Python 爬蟲介紹

一 什麼是爬蟲 爬蟲 一段自動抓取網際網路資訊的程式,從網際網路上抓取對於我們有價值的資訊。二 python爬蟲架構 網頁解析器 將一個網頁字串進行解析,可以按照我們的要求來提取出我們有用的資訊,也可以根據dom樹的解析方式來解析。網頁解析器有正規表示式 直觀,將網頁轉成字串通過模糊匹配的方式來提取...