アフィリエイト広告を利用しています
検索
プロフィール
かめ太さんの画像
かめ太
プロフィール
記事のカテゴリー
動画URLから埋め込みタグ生成
YouTube(10)
パソコン(222)
英語(8)
投資、お金(586)
生活(63)
test(9)
blog管理(4)
BGM(19)
国際情勢(6)
python(22)
不動産(18)
Access(3)
javascript(34)
Programming(107)
todo(2)
スマホアプリ(3)
web(10)
イラスト・デザイン(13)
ゲーム開発(42)
リンクメモ（いろいろ）(3)
※投資関連の記事だけ見たい方は、「投資、お金」をクリック！
他ジャンルの記事が表示されず見やすくなります。
お気に入りに入れる場合なども、カテゴリーをクリックしてから入れておくと便利ですよ。

memo 再生リスト埋め込み用URL
https://www.youtube.com/embed/?listType=playlist&list=
リンク集
上 雪●投資・お金系サイト晴れ
  1. 空売り.net (karauri.net)
  2. iMarket 適時開示ネット（決算期に便利なサイト）
  3. 東証 業種別株価指数 リアルタイム
  4. 世界の株価
details_test
  1. 東証 業種別株価指数 リアルタイム
  2. 世界の株価
Amazon
YouTube
Gmail > 受信フォルダ
雪●簿記 YouTuber晴れ
  1. 簿記3級_アニメでわかる!
  2. たぬ吉・日商簿記3級講座
  3. ボキいろは【スマホだけで学べる簿記講座】（再生リスト一覧）
雪●PC系サイト晴れ
  1. SQL Bolt
  2. JS Bin
  3. CodePen
  4. JSFiddle
雪●PC系(MS Access) YouTuber晴れ
  1. モザイクアートチャンネル
  2. zawa Channel
  3. ストレートハッピー/すとはぴ
雪●PC系(いろいろ) YouTuber晴れ
  1. Pythonプログラミング VTuber サプー
  2. Pythonアカデミー【エンジニアVtuber凛】
  3. 直也テック
  4. こいこいの人工知能研究室
  5. 独学クソリーマンの逆襲
  6. なんだ！カンタン！Excel塾
雪●投資系【日本株】YouTuber晴れ
  1. 横浜ザイバツの株式投資法（日本株）
  2. 上岡正明【MBA保有の脳科学者】
  3. つばめ投資顧問
  4. 緋水とももにの株ちゃんねる（日本株）
  5. タカニキ
雪●投資系【色々】YouTuber晴れ
  1. 聞いて学べる投資ガイド（タザキの経済教室）
  2. 毎日チャート分析ちゃんねる
  3. 草食系投資家LoK Re:
  4. 株の買い時を考えるチャンネル
  5. 中山聡「住まいと投資チャンネル」
雪●投資系【米国株】YouTuber晴れ
  1. Makabeeの米国株【ジム・クレイマー応援ch】
  2. やすチャンネル（米国株）
  3. 広瀬隆雄 じっちゃま（まとめ）
<< 2023年11月 >>
日 月 火 水 木 金 土
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30    
ファン
 このブログの読者になる
 更新情報をチェックする
 ブックマークする
 友達に教える
最新記事
(11/27)【新NISA】第３の選択肢　マネックス証券は、SBIよりクレカ積立でお得！？【銘柄スカウター】
(06/21)「Equalizer APO」パソコンの音にイコライザーをかける！　あらゆるアプリケーション上で動作するオーディオイコライザー
(06/15)【エディタ】vimで、正規表現の$1を使った部分置換
(05/24)【再生リスト】１分英語。英文法などをスマホで次々再生。英語の縦長ショート【英語】
(05/23)【徹底解説】自分に合った光回線の選び方2023
写真ギャラリー
最新コメント
タグクラウド
日別アーカイブ
2023年11月27日(1)
RDF Site Summary
QRコード

広告

posted by fanblog
●テスト●てすと
<< 青汁王子「一番安い上場企業は５億円で買える。そもそも上場に魅力を感じない。自分の会社を数十億以上で売って儲けるほうがいい」 | TOP | 【学習ステップ公開】AI・機械学習初心者必見！勉強すべき領域や学習の手順について詳しく聞いてみました >>

2021年11月24日

python webスクレイピング。リダイレクト先のページを取得するには。ブラウザで表示したページを取得するには、など

調べ中
下記サイトに答えがあるかは不明

Pythonの『requests.get』はリダイレクト後の情報を取得する
https://dot-blog.jp/news/python-requests-redirect-url-status-code-get/

requestsで取得できないWebページをスクレイピングする方法
https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/#solution

スクレイピングの定番の方法と言えば「requests + BeautifulSoup」の組み合わせです。一般的はWebページであれば、大抵はスクレイピングできます。

しかし、この方法で読み取れないWebページに遭遇することがあります。特にYahoo!やTwitterなど頻繁に更新されるサイトによくあります。

その原因は、「ダウンロードしたHTMLファイル」と「ブラウザに表示されるHTML」が異なるからです。
タグ：リダイレクト Webスクレイピング requests-html selenium requests beutifulsoup JS
【このカテゴリーの最新記事】
posted by かめ太 at 12:44 | Comment(0) | TrackBack(0) | python
この記事へのコメント
コメントを書く

お名前:

メールアドレス:


ホームページアドレス:

コメント:

※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバックURL
https://fanblogs.jp/tb/11113337
※ブログオーナーが承認したトラックバックのみ表示されます。

この記事へのトラックバック
×

この広告は30日以上新しい記事の更新がないブログに表示されております。