とっちゃん@nyanco! です。
今回は高性能スクレイピングソフト「Octoparse（オクトパルス）」でCoinMarketCapから暗号資産1年分の「終値」をスクレイピングする設定手順の覚え書きというお話です。
「Octoparse」はノーコードでポチポチっとするだけでスクレイピングができちゃう恐るべきソフトですにゃ〜
macOSでもWindowsでも使えますにゃ〜
「Octoparse」は有料プランもありますが、無料アカウントでも機能的には十分に使えます。
▼「Octoparse」のダウンロードは下記公式サイトからどうぞ！
OctoparseでCMCの1年分の終値を取得する設定手順
Step1. 新規タスク作成～URLセット
まずは新規タスクを作成していきます。
▼「新規作成」→「カスタマイズタスク」をクリックします。
▼「URLプレビュー」に取得したい暗号資産の履歴が掲載されているURLリストをコピーペースト→「保存」をクリックします。
複数の暗号資産の終値履歴を取得したい場合は、1URLごとに改行して入力します。
Step2. クッキーログイン設定
CoinMarketCapのデフォルトは暗号資産の価値がUSD換算で表記されるので日本円換算に変更するため、初めに「クッキーログイン」設定をします。
▼「操作提案」パネルの「クッキーログイン」をクリックします。
▼「クッキーログイン」ウィンドウが開くので画面右上の「≡」をクリックします。
▼メニューが開くので「Cookies Settings」をどちらかクリックします。筆者は「Accept All Cookies」としました。
▼続いてメニューを下にスクロールします。
▼デフォルトの基準通貨として設定されている「USD」をクリックします。
▼「Select Currency（通貨を選択）」ウィンドウが開くので少し下にスクロールします。
▼「Japanese Yen-JPY」を見つけたらクリックして選択します。
▼「Select Currency」ウィンドウが閉じるので日本円表記に変わってるのを確認し「ログイン」をクリックします。
以上で基準通貨が「JPY（日本円）」の状態でスクレイピングできるようになりましたにゃ～
Step3. スクレイピング設定
続いてOctoparseのメインとなるスクレイピングの設定です。
今回取りたい情報は以下の3つのみなのでとてもシンプルですにゃ～
- Date（日付）
- Close（終値）
- 通貨名
▼まずは「Date」の適当な日付をクリックします。
▼関連する情報が自動で認識され赤枠で表示されるので操作提案ウィンドウの「類似要素をすべて選択」をクリックします。
▼赤枠が緑枠になったことを確認してデータ抽出の「テキスト」をクリックします。
▼続いて「Close」の追加にいきたいところですが、その前に「操作提案」パネルの『「もっと見る」タイプ』をクリックします。
取りたい情報量が多過ぎて一度にページ表示されない時のワザとして、「もっと見る」ボタンを自動でクリックする設定をしておきますにゃ～
▼「もっと読み込むボタンの選択を確認」と表示されるので、実際のページ送りボタンをクリック指定するためページを下にスクロールします。
▼「Load More（もっと読み込む）」が表示されたらをクリックします。
▼するとボタンのXPathが自動設定されるはずです。「実行回数」はデフォルトの「100」は今回のケースでは多すぎるので「7」に変更して「保存」をクリックします。
7回「もっと読む」ボタンを押すと、ちょうど1年分の終値が表示されるので「7」としましたにゃ～
▼「もっと見るボタン」の設定ができました！続いてスクレイピングしたい項目を追加していくので「ループアイテム」内の「データを抽出」をクリックします。
▼「データプレビュー」の「＋（クイック追加）」をクリックします。
▼「フィールド2」が選択待ち状態になるので「Close」の適当な値をクリックします。
▼すると先ほどの「Date」に対応する形で自動で「Close」の類似要素も認識されました。
▼最後にもう一つ項目を追加するので再度「データプレビュー」の「＋」をクリックします。
▼「通貨名」として「Tether USDt historical data」をクリックします。
▼「フィールド3」にこのように通貨名が追加されたら完了です！「保存」をクリックします。
Step 4. 実行して動作確認
▼タスクの保存ができたら早速実行して動作確認してみましょう。「実行」をクリックします。
▼「タスク実行」ウィンドウが開くので「ローカル抽出」の「通常モード」をクリックします。
無料アカウントでは「クラウド抽出」は使用できないので「ローカル抽出」のみとなりますにゃ〜
▼以下のように実行中となり、狙った通りにデータが抽出できればOKです！
▼抽出が完了したらお好きなフォーマットでデータをエクスポートします。
▼Excelでエクスポートしたものを開くとこんな感じです。バッチリですね！
おわりに
本記事がどなたかの参考になれば幸いです。
今回は以上となります。
最後まで読んでいただきましてありがとうございました！
それではまた〜✧٩(ˊωˋ*)و✧
コメント