Docker + selenium + chromedriverでスクレイピング環境を作る


Dockerで環境作ったら書いてある通りにしても動かなかったから、以下のサイトを参考にDockerファイルを作る。

# google-chrome
RUN wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add && \
echo 'deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main' | tee /etc/apt/sources.list.d/google-chrome.list && \
apt-get update && \
apt-get install -y google-chrome-stable
# ChromeDriver
ADD  https://chromedriver.storage.googleapis.com/101.0.4951.41/chromedriver_linux64.zip /opt/chrome/
RUN cd /opt/chrome/ && \
unzip chromedriver_linux64.zip
RUN pip install selenium \
    chromedriver-binary
ENV PATH /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/opt/chrome 


WebDriverExceptionが出たら以下のサイトを参考にoptionを追加する。

WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.
  (unknown error: DevToolsActivePort file doesn't exist)
  (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)
追加したオプション
options.add_argument('--headless')
options.add_argument("--no-sandbox")

【Python】ChromeDriverのエラーまとめ【selenium】


もし次のエラーが出た場合はオプションを増やす。

selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash

追加したオプション 

options.add_argument("--disable-dev-shm-usage")

Pythonでselenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crashがでたとき

困ったらググって解決してるけど、なんでそうしないといけないかよく分かっていない…



コメント

コメントを投稿

このブログの人気の投稿

FLEXISPOT昇降デスクでASR（A5R）が表示されたら下限まで下げてから下ボタンを長押しすると直る

イメージ
ASRやA5Rではなく、RSTらしい。 S以外なにもあっていなかった。 ググったらYoutubeの動画が出てくるので、参考にしつつ下ボタンを長押ししたら解消した。 ちなみに、FLEXISPOTの机を一人で作ると大変だけど、キャスターがあると机の移動が楽になるから買った方がいい。
続きを読む

FLEXISPOT昇降デスクで異音がしたらコントロールボックスを交換してくれた

上昇するときに異音がしてすぐ「ASR」「RST」のエラーコードが表示されるようになった。  前に同じエラーコードに遭遇した時と同じことをしたけども、今回は全く解消する見込みがない。 そこでサポートにメールすると、保証確認のために以下の写真を送るよう連絡がある。 ・注文番号  ・商品不具合動画  ・脚支柱のQRコード/モーターシール写真  ・コントロール　ボックスのシール写真 タイプによって異なると思うが、配線を見直しても直らないのでコントロールボックスを送ってくれた。 ギリギリ保証内だったのかもしれない。 ちなみに、届いたコントロールボックスは壊れたコントロールボックスとは異なるタイプで衝突検知機能がついていたからちょっとうれしい。  
続きを読む

Obsidian Memosをもっと手軽にしたいからiPhoneのショートカットを作った

Obsidianに投稿するショートカットを作った。 というのも、Obsidian Memosというプラグインが便利ですぐDayly Noteに投稿できるものの、アプリを都度開くことが億劫になったから。 Twitter 形式でメモが残せる Obsidian Memos で「考えるな、書け」を体現できるくらい筆が進むようになった 調べるとiPhoneのショートカットでアプリ制御できることが分かったから、作ってみた。 Daily Noteへメモv2.1 ※Daily Noteに書き込むには、最後のほうにあるフォルダとファイルをObsidianのDaily Noteのフォルダとファイルにする必要がある これなら、ショートカットからすぐ投稿できるし、Obsidian Memosにも取り込めるから便利。画像はObsidian Memosから投稿できるし、ちょっとしたメモならショートカットから呼び出したほうが早いし、快適さが上がった。 ■ショートカット作成で参考にしたサイト 【Obsidian】アプリを開かずにDaily Noteにタイムスタンプ付きのメモを残す【iOS】 [Obsidian]アプリを開かずに新しいファイルを作成する[iOSショートカット]
続きを読む