WGet

説明

GNU Wget は、最も広く使用されている 2 つのインターネット プロトコルである HTTP と FTP を使用して World Wide Web からファイルを取得するための無料のネットワーク ユーティリティです。非対話的に動作するため、ログオフした後、バックグラウンドで作業できます。

FTP サイトだけでなく、HTML ページの再帰的な取得もサポートされています。Wget を使用して、アーカイブやホームページのミラーを作成したり、WWW ロボットのように Web をトラバースしたりできます (Wget は /robots.txt を理解します)。

Wget は、低速または不安定な接続で非常にうまく機能し、完全に取得されるまでドキュメントを取得し続けます。中断した場所からのファイルの再取得は、それをサポートするサーバー (HTTP と FTP の両方) で機能します。 FTP 経由で取得する場合、ワイルドカードのマッチングとディレクトリの再帰的ミラーリングが利用可能です。 HTTP と FTP の両方の取得にタイムスタンプを付けることができるため、Wget はリモート ファイルが最後の取得以降に変更されたかどうかを確認し、変更されている場合は自動的に新しいバージョンを取得できます。

Wget は、ネットワーク負荷を軽減し、検索を高速化し、ファイアウォールの背後にあるアクセスを提供できるプロキシ サーバーをサポートしています。ソックス スタイルのゲートウェイを使用する必要があるファイアウォールの内側にいる場合は、ソックス ライブラリを入手して、ソックスをサポートする wget をコンパイルできます。

ほとんどの機能は、コマンド ライン オプションまたは初期化ファイル .wgetrc を使用して構成できます。 Wget を使用すると、サイト設定用のグローバル スタートアップ ファイル (デフォルトでは etc/wgetrc) をインストールできます。