Docker部署Python爬蟲專案的方法步驟

2023-03-19 02:00:33 字數 2126 閱讀 8422

1) 首先安裝docker:

# 用 yum 安裝並啟動

yum install docker -y && systemctl start docker

2) **自定義映象需要用到的基礎映象:

# 這裡aqunjwp以centos7為例

docker pull centos:centos7

3) 基礎映象已經準備好了,接下來準備好需要部署的環境服務,以及python專案:

### 建立 dockerfile 檔案

mkdir dockerfile && cd dockerfile

### ** python(這裡以3.7為例)

wget

### 將 python 專案複製到此目錄

cp ~/twww.cppcns.comest.py .

### 以及 python 專案的依賴庫

cp ~/requirements.txt .

4) 需要自定義docker映象的大致內容準備好了,接下來編寫dockerfile:

vim dockerfile

### 以centos:centos7來作為基礎映象

from centos:centos7

### **編譯需要用到的軟體

run yum instawww.cppcns.comll -y gcc gcc-c++ autoconf automake libtool make zlib* libffi-devel

### 將dockerfile目錄下的python-3.7.3.tgz複製到docker容器內

copy python-3.7.3.tgz /usr/local/src

### 編譯安裝 python

workdir /usr/local/src

run tar -xf python-3.7.3.tgz

workdir python-3.7.3

run ./configure -程式設計客棧-prefix=/usr/local/python37 && make && make install

env path /usr程式設計客棧/local/python37/bin:$path

### 建立工作目錄

run mkdir /spider

### 將python專案複製到 /spider工作目錄下

add test.py /spider

add requirements.txt /spider

### 設定 /spider 為工作目錄

workdir /spider

### ** python 專案的依賴庫

run pip3 install -i --trusted-host mirrors.aliyun.com -r requirements.txt

### 在建立個爬取的資料存放的目錄,這個需要根據自己**裡面設定的目錄來建立,例如:

volume /data

### 最後一步,執行docker映象時執行自己的python專案

### 可以多個引數: cmd ["python3","a","main.py"]

cmd ["python3","test.py"]

5) 接下來構建映象:(就在此目錄下執行)

### docker build -t 映象名:版本號 映象名:版本號 均為自定義 別忘了末尾的點“.”

docker build -t pythonspider:v1 .

6) 執行映象:

### 通過 docker images命令就可以看到剛剛建立的映象

docker images

### 執行

docker run -d --name spider -v /data:/data pythonspider:v1

### -d為後臺執行,--name 後面設定容器名,-v 是目錄共享,主機目錄和docker容器內目錄共享。建立dockerfile的時候,有這一句 volume /data 就是作為共享目錄使用的,“:”前的目錄為主機目錄,後面的目錄為容器內目錄。。。 最後一個引數 pythonspider:v1 映象名

cd /data

### 到此目錄下你就會看到產生的資料

本文標題: docker部署python爬蟲專案的方法步驟

本文地址:

python 部署到Docker中的方法和案例

一 在linux下安裝 docker yum install https 1.7.1 centos 6 rpms x86 64 docker engine 1.7.1 1.el6.x86 64.rpm 啟動docker service docker start二,建立資料夾 mkdir nine 進...

docker 部署python專案(實戰)

安裝docker apt get install docker.io 設定開機自啟 systemctl enable docker1 pycharm中專案結構 2 建立docker打包目錄d docker multi person emotion,並在該目錄下新建以下檔案 dockerfile 是一...

Docker部署Python專案

簡介軟體開發最大的麻煩事之一就是環境配置,作業系統設定,各種庫和元件的安裝。只有它們都正確,軟體才能執行。如果從一種作業系統裡面執行另一種作業系統,通常我們採取的策略就是引入虛擬機器,比如在 windows 系統裡面執行 linux 系統。這種方式有個很大的缺點就是資源佔用多 冗餘步驟多 啟動慢。目...

爬蟲部署到Docker 中的方法 和案例

本地除錯與修改映象 儲存修改 在專案目錄下建立一個 名為requirements的檔案,檔案內記錄本專案用到的模組,如有特殊需求可設定模組版本號,例如 scrapy scrapy redis pymysql dockerfile 檔案用於設定docker初始化 touch dockerfile vi...

docker部署部署gitlab

建立掛載目錄 mkdir p home gitlab 拉去映象 docker pull gitlab gitlab ce 建立容器 docker run d p 443 443 p 80 80 p 2222 22 name gitlab restart always v home gitlab co...

Docker部署 MySQL部署

本文采用的是阿里雲的centos7 更新yum yum update 安裝docker yum install docker 啟動docker systemctl start dockerdocker安裝完工 檢視所有的容器 檢視正在執行的容器 docker ps 檢視所有容器 包括停止的 dock...