exercises_headless_browser.md

ヘッドレスブラウザーを使った練習問題

これはヘッドレスブラウザーを使ってクローリング・スクレイピングを行うための練習問題です。 好きな問題をやってみてください。

解答例はanswerディレクトリ内にあります。

7. TV番組表からテレビ番組一覧を取得する

Yahoo! テレビのテレビ番組表はJavaScriptを使って読み込まれています。

問題

Yahoo! テレビのテレビ番組表から本日のテレビ番組一覧を取得して表示してください。

※現時刻以前の番組は取得できないことがあるので無視して構いません。

期待する出力例

9:50 よ～いドン!【日本一?小さな出版社を作った売れない漫画家▽たむけん日帰り長崎】
10:30 ナカイの窓
10:53 きよし・黒田の今日もへぇーほぉー　天神橋筋商店街学
11:00 ニュース・気象情報
11:00 きょうの料理　新　家庭料理の定番60「豚カツ・から揚げ」
11:00 ドラマ11　みんなキムチ(第56話)
11:00 ひるおび！【北朝鮮“新型”ミサイル発射映像を公開▽日本でも過去最大サイバー攻撃】
...

ボーナス

（面倒ですがもし興味があれば）チャンネルごとに番組一覧を表示してください。

8. note.muの記事一覧を取得する

noteはSPA (Single Page Application) として作られており、コンテンツはJavaScriptで読み込まれます。

問題

noteのトップページに表示されているテキストコンテンツ（class="p-post--basic"）のタイトルとURL一覧を取得して表示してください。

期待する出力例

観光の第一歩を変えること、インバウンドへの参入コストを下げること
https://note.mu/uumatsu/n/n470ca2829f8b
【新連載】鷹鳥屋明「中東で一番有名な日本人」第1回 中東で一番有名な日本人？【不定期配信】
https://note.mu/wakusei2nd/n/n546b99ecf400
「増収増益」の呪縛から解き放たれたヤフーの成長シナリオを読み解く
https://irnote.com/n/ncfdb581a6623
それでも私は戦わない理由
https://note.mu/in_the/n/n7b506e768427
貧富の差が激しくなりそうな今後、パトロン的な人って必要なのでは、と、noteのサポートと投げ銭
https://note.mu/bar_bossa/n/nc608d3735011

ボーナス

余力があれば、下までスクロールしたり続きを読むボタンをクリックしたりして続きを読み込み、より多くの記事を取得してください。

以下のコードで画面の一番下までスクロールできます。

driver.execute_script('scroll(0, document.body.scrollHeight)')