【Python】Seleniumのスクレイピング対策を無効化する方法

当ページのリンクには広告が含まれています。
【Python】Seleniumのスクレイピング対策を無効化する方法
いずみ

こんな悩みを解決できる記事を書きました!

僕は現役フリーランスエンジニア(歴年)で、資格は個保有しています。

Seleniumのスクレイピング対策を無効化する方法を知りたい」とお悩みではありませんか?

Seleniumでスクレイピングするとサイトによってはアクセスできないことがあります。

いずみ

スクレイピング対策しているサイトも多いですからね。

Seleniumを実行する際にオプションを追加すれば回避できる可能性が上がります。

ということで、本記事ではSeleniumでスクレイピング対策を無効化する方法を解説します。

いずみ

すぐ読み終わるので、ぜひ最後まで読んでくださいませ。

スクロールできます
【当サイト】おすすめフリーランスエージェント3選
エージェント評価ポイント公式サイト
レバテックフリーランス

5.0
業界最大級のエージェント。
高単価案件が豊富。
公式
Midworks

4.8
満足度調査で
3年連続3冠を達成。
公式
ITプロパートナーズ

4.6
週2〜3向けの案件が豊富。公式
執筆者/監修者
  • フリーランスエンジニア(保有資格個、企業と直接契約
  • ブログ・アフィリエイト歴7年(2018年〜)
  • ブランドせどりで月利50万円⇨脱サラ
  • 投資(仮想通貨・FX)歴7年(2018年〜)
  • X(旧Twitter)フォロワー約1,900人
  • 運営者情報はこちら
いずみです
目次

【Python】Seleniumのスクレイピング対策を無効化する方法

Seleniumの動作は特定のJavaScriptなどで検出できるため、アクセスを制御されてしまう可能性があります。

アクセス制御を回避するには、Chromeの起動時に--disable-blink-features=AutomationControlled オプションを追加すると効果的です。

–disable-blink-features=AutomationControlledの設定方法

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")

browser = webdriver.Chrome(options=options)

上記のコードで、Seleniumの自動操作が検出されにくくなります。

なぜ有効なのか?

Chromeには「AutomationControlled」という機能があり、「AutomationControlled」が有効だとSeleniumの動作がサイト側に検知されやすくなります。

--disable-blink-featuresを追加することで、Seleniumの動作を手動操作と同じように見せかけることができます。

ただし、サイトによっては他の対策も講じている可能性があるため、ヘッドレスモードの解除やUser-Agentの変更も併用するとより効果的です。

いずみ

一つだけ対策すればいいというわけでもないのでスクレイピングは難しい…

スクロールできます
【当サイト】おすすめフリーランスエージェント3選
エージェント評価ポイント公式サイト
レバテックフリーランス

5.0
業界最大級のエージェント。
高単価案件が豊富。
公式
Midworks

4.8
満足度調査で
3年連続3冠を達成。
公式
ITプロパートナーズ

4.6
週2〜3向けの案件が豊富。公式

【厳選】フリーランスエンジニアにおすすめなエージェント3選

フリーランスエンジニアになるにはエージェントから案件をもらう必要があります。

僕が実際に利用しているおすすめエージェントを紹介しますね。

いずみ

エージェントは必ず複数登録してください。

担当者によっては「全然案件紹介してくれない…」みたいなこともあるので…

僕は実際に5つのエージェントを使い回していますよ。

フリーランスを始めるなら「

案件数マージン率単価
約88,000件非公開
初心者福利厚生申し込み
無料
Good Point
  • 業界最大級の案件数。
  • 業界トップクラスの高単価報酬、低マージン(平均年収862万円)。
  • 案件参画中のフォローの充実。

※詳細は「【業界最大手】レバテックフリーランスとは?メリットや利用手順を解説!」を参照。

は業界最大手のフリーランスエージェントです。

とにかく案件数が多いので、とりあえず登録しておけば間違いないエージェントです!

いずみ

僕もはじめてフリーランスの案件を貰ったのはです。

保有している案件数が多いので、業務経験がなくても何かしらの案件は紹介してもらえますよ(僕はJavaの経験3年でも案件を貰えました)。

手厚い保障を重視したいなら「

案件数マージン率単価
約10,000件非公開
初心者福利厚生申し込み
無料
Good Point
  • 手厚い保障で正社員並みの安心感。
  • 還元率60%超え&単価公開でクリアな契約。
  • 給与保障制度(審査あり)。

は手厚い保障が特徴のフリーランスエージェントです。

フリーランスを目指しているけど不安な方や保障を重視したい方におすすめです。

いずみ

僕も何度か案件を紹介してもらいました。

自分のスキルに合った案件を紹介してもらえましたし、電話のやり取りも非常に丁寧でした。

週2〜3日の案件探しなら「

案件数マージン率単価
約5,000件非公開
初心者福利厚生申し込み
経験者向け無料
Good Point
  • IT案件に特化したフリーランスエージェント。
  • 週2〜3日の案件が豊富。
  • リモート案件が多く、直エンドなので単価も高い。

※詳細は「【週2・3案件】ITプロパートナーズとは?メリットや利用手順を解説!」を参照。

はIT案件に特化したフリーランスエージェントです。

週2〜3日から参画できる案件が豊富なので、起業したい人にもおすすめです。

いずみ

週2〜3日の案件はある程度スキルがないと紹介してもらえない印象です。

とはいえ、週5の案件ももちろんありますし、僕が利用した時は迅速・丁寧に対応していただきました!

よくある質問

--disable-blink-features=AutomationControlled だけで完全にバレなくなりますか?

完全に検出を防ぐことはできません。

サイト側は追加の対策を行っている場合があるため、ヘッドレスモードを使わない、User-Agentを変更するなど、他の対策も組み合わせるとより効果的です。

他に試すべき設定はありますか?

例えば以下のような対策を併用すると、Seleniumの動作をより人間の操作に近づけることができます。

  • User-Agentを実際のブラウザのものに変更する。
  • JavaScriptの実行を工夫し、navigatorオブジェクトを改変する。
  • WebDriverフラグを削除する(driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"))。

まとめ

今回は、Seleniumでスクレイピング対策を無効化する方法について解説しました。

以下が本記事のまとめになります。

まとめ
  • --disable-blink-features=AutomationControlled を指定すると、Seleniumの検出を回避しやすくなる。
  • 完全に検出を防ぐことは難しく、User-Agentの変更やJavaScriptの改変も併用すると効果的。
まとめ
  • おすすめ本
¥2,970 (2023/07/25 22:48時点 | Amazon調べ)
\楽天ポイント4倍セール!/
楽天市場

Pythonの勉強なら「」が体系的に学べるのでおすすめですよ♪

いずみ

最後までお読みいただき、ありがとうございました!

スクロールできます
【当サイト】おすすめフリーランスエージェント3選
エージェント評価ポイント公式サイト
レバテックフリーランス

5.0
業界最大級のエージェント。
高単価案件が豊富。
公式
Midworks

4.8
満足度調査で
3年連続3冠を達成。
公式
ITプロパートナーズ

4.6
週2〜3向けの案件が豊富。公式
  • クソおすすめ本
¥4,480 (2024/06/01 23:28時点 | Amazon調べ)
\楽天ポイント4倍セール!/
楽天市場
いずみ

海外のエンジニアがどういった思考で働いているかが理解できます。

海外に行く気はないけど海外エンジニアの動向が気になる雑魚エンジニアにおすすめです(本当におすすめな本しか紹介しないのでご安心を)。

【Python】Seleniumのスクレイピング対策を無効化する方法

この記事が気に入ったら
フォローしてね!

シェアしてね!
  • URLをコピーしました!
目次