1) 首先安裝docker:
# 用 yum 安裝並啟動
yum install docker -y && systemctl start docker
2) **自定義映象需要用到的基礎映象:
# 這裡aqunjwp以centos7為例
docker pull centos:centos7
3) 基礎映象已經準備好了,接下來準備好需要部署的環境服務,以及python專案:
### 建立 dockerfile 檔案
mkdir dockerfile && cd dockerfile
### ** python(這裡以3.7為例)
wget
### 將 python 專案複製到此目錄
cp ~/twww.cppcns.comest.py .
### 以及 python 專案的依賴庫
cp ~/requirements.txt .
4) 需要自定義docker映象的大致內容準備好了,接下來編寫dockerfile:
vim dockerfile
### 以centos:centos7來作為基礎映象
from centos:centos7
### **編譯需要用到的軟體
run yum instawww.cppcns.comll -y gcc gcc-c++ autoconf automake libtool make zlib* libffi-devel
### 將dockerfile目錄下的python-3.7.3.tgz複製到docker容器內
copy python-3.7.3.tgz /usr/local/src
### 編譯安裝 python
workdir /usr/local/src
run tar -xf python-3.7.3.tgz
workdir python-3.7.3
run ./configure -程式設計客棧-prefix=/usr/local/python37 && make && make install
env path /usr程式設計客棧/local/python37/bin:$path
### 建立工作目錄
run mkdir /spider
### 將python專案複製到 /spider工作目錄下
add test.py /spider
add requirements.txt /spider
### 設定 /spider 為工作目錄
workdir /spider
### ** python 專案的依賴庫
run pip3 install -i --trusted-host mirrors.aliyun.com -r requirements.txt
### 在建立個爬取的資料存放的目錄,這個需要根據自己**裡面設定的目錄來建立,例如:
volume /data
### 最後一步,執行docker映象時執行自己的python專案
### 可以多個引數: cmd ["python3","a","main.py"]
cmd ["python3","test.py"]
5) 接下來構建映象:(就在此目錄下執行)
### docker build -t 映象名:版本號 映象名:版本號 均為自定義 別忘了末尾的點“.”
docker build -t pythonspider:v1 .
6) 執行映象:
### 通過 docker images命令就可以看到剛剛建立的映象
docker images
### 執行
docker run -d --name spider -v /data:/data pythonspider:v1
### -d為後臺執行,--name 後面設定容器名,-v 是目錄共享,主機目錄和docker容器內目錄共享。建立dockerfile的時候,有這一句 volume /data 就是作為共享目錄使用的,“:”前的目錄為主機目錄,後面的目錄為容器內目錄。。。 最後一個引數 pythonspider:v1 映象名
cd /data
### 到此目錄下你就會看到產生的資料
本文標題: docker部署python爬蟲專案的方法步驟
本文地址:
python 部署到Docker中的方法和案例
一 在linux下安裝 docker yum install https 1.7.1 centos 6 rpms x86 64 docker engine 1.7.1 1.el6.x86 64.rpm 啟動docker service docker start二,建立資料夾 mkdir nine 進...
docker 部署python專案(實戰)
安裝docker apt get install docker.io 設定開機自啟 systemctl enable docker1 pycharm中專案結構 2 建立docker打包目錄d docker multi person emotion,並在該目錄下新建以下檔案 dockerfile 是一...
Docker部署Python專案
簡介軟體開發最大的麻煩事之一就是環境配置,作業系統設定,各種庫和元件的安裝。只有它們都正確,軟體才能執行。如果從一種作業系統裡面執行另一種作業系統,通常我們採取的策略就是引入虛擬機器,比如在 windows 系統裡面執行 linux 系統。這種方式有個很大的缺點就是資源佔用多 冗餘步驟多 啟動慢。目...
爬蟲部署到Docker 中的方法 和案例
本地除錯與修改映象 儲存修改 在專案目錄下建立一個 名為requirements的檔案,檔案內記錄本專案用到的模組,如有特殊需求可設定模組版本號,例如 scrapy scrapy redis pymysql dockerfile 檔案用於設定docker初始化 touch dockerfile vi...
docker部署部署gitlab
建立掛載目錄 mkdir p home gitlab 拉去映象 docker pull gitlab gitlab ce 建立容器 docker run d p 443 443 p 80 80 p 2222 22 name gitlab restart always v home gitlab co...
Docker部署 MySQL部署
本文采用的是阿里雲的centos7 更新yum yum update 安裝docker yum install docker 啟動docker systemctl start dockerdocker安裝完工 檢視所有的容器 檢視正在執行的容器 docker ps 檢視所有容器 包括停止的 dock...