先日
★wgetによるCMSシステム等動的生成Webサイトの静的HTML化: YUU MEDIA TOWN@Blog
な事をするのにWindows 10のパソコンにwgetをインストールして実行してみました。
└こちらのエントリに追加しましたが静的サイトは問題なかったけど、動的サイトだとURLの文字の部分でMacで一部問題が起きました。文字コード?その他?(2023年8月11日19時50分追記)
この手の奴、LinuxやmacOSなら標準で入ってるかと思いきや、wgetはmacOSには昔は標準で入ってたような気がしますがmacOS 12 Montereyにはインストールされておらず、この前入れた
★Intel Mac(x86)のmacOS 12のVirtualBOX(仮想環境)でLinux(CentOS 7)のインストールからサーバー環境構築(2022年11月08日 (火曜日))
「最小構成」では入っておりませんね。curlは入ってました(macOS 12 Montereyも)。
Macにインストールする方法をググって見ると
★【ターミナル】Macでもwgetコマンドを使えるようにする方法。
ソースコードをダウンロードしコンパイルする方法かHomeBrewでインストールする方法がよく紹介されておりました。
先日
★macOS(またはLinux)用パッケージマネージャーHomebrewをIntel Mac miniにインストールしてみた(2023年07月10日 (月曜日))
Homebrewをインストールしていましたのでこちらを使う事に。
といってもターミナルから
brew install wget
とするだけでインストール完了。
手持ちの小さなWebサイトをWebスクレイピングしてみましたがちゃんとWebサイト一式、保存されていました。
そういやwgetとcurlの違い、最近はcurlは主流な気がしますが
★wgetとcurlの根本的な違い - ctrlshiftの日記
curlにはWebサイトスクレイピング的な処理、ないのか。