it-swarm.it

Come posso scaricare un intero sito web?

Come posso scaricare tutte le pagine da un sito Web?

Qualsiasi piattaforma va bene.

341
joe

HTTRACK funziona come un campione per copiare i contenuti di un intero sito. Questo strumento può anche afferrare i pezzi necessari per rendere un sito Web con contenuto di codice attivo non in linea. Sono stupito di ciò che può replicare offline.

Questo programma farà tutto il necessario.

Buona caccia!

319
Axxmasterr

Wget è un classico strumento da riga di comando per questo tipo di attività. Viene fornito con la maggior parte dei sistemi Unix/Linux, e puoi anche scaricarlo per Windows . Su Mac, Homebrew è il modo più semplice per installarlo (brew install wget).

Faresti qualcosa come:

wget -r --no-parent http://site.com/songs/

Per maggiori dettagli, vedi Manuale di Wget e il suo esempi , o per es. questi:

264
Jonik

Usa wget:

wget -m -p -E -k www.example.com

Le opzioni spiegate:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.
143
user9437

Internet Download Manager ha un'utilità Site Grabber con molte opzioni - che ti consente di scaricare completamente qualsiasi sito web che desideri, nel modo che preferisci.

  1. È possibile impostare il limite sulla dimensione delle pagine/file da scaricare

  2. È possibile impostare il numero di siti di succursali da visitare

  3. Puoi cambiare il modo in cui si comportano gli script/i popup/i duplicati

  4. È possibile specificare un dominio, solo sotto tale dominio verranno scaricate tutte le pagine/file che soddisfano le impostazioni richieste

  5. I collegamenti possono essere convertiti in collegamenti offline per la navigazione

  6. Hai dei modelli che ti permettono di scegliere le impostazioni sopra per te

enter image description here

Tuttavia, il software non è libero: verifica se soddisfa le tue esigenze, utilizza la versione di valutazione.

8
Lazer

Dovresti dare un'occhiata a ScrapBook , un'estensione per Firefox. Ha una modalità di acquisizione approfondita .

enter image description here

8
webjunkie

itsucks- questo è il nome del programma!

7
kmarsh

Tratterò il buffering online che i browser usano ...

In genere la maggior parte dei browser utilizza una cache di navigazione per mantenere i file scaricati da un sito Web per un po 'in modo da non dover scaricare continuamente immagini e contenuti statici. Questo può accelerare un po 'le cose in alcune circostanze. In generale, la maggior parte delle cache del browser è limitata a una dimensione fissa e quando raggiunge tale limite, elimina i file più vecchi nella cache.

Gli ISP tendono ad avere server di memorizzazione nella cache che mantengono copie di siti web comunemente accessibili come ESPN e CNN. Questo li salva la difficoltà di colpire questi siti ogni volta che qualcuno nella loro rete va lì. Ciò può comportare un notevole risparmio nella quantità di richieste duplicate verso siti esterni all'ISP.

5
Axxmasterr

Mi piace Offline Explorer .
È uno shareware, ma è molto buono e facile da usare.

5
Eran

Non l'ho fatto da molti anni, ma ci sono ancora alcune utility là fuori. Potresti provare Web Snake . Credo di averlo usato anni fa. Mi sono ricordato il nome subito quando ho letto la tua domanda.

Sono d'accordo con Stecy. Per favore non martellare il loro sito. Molto brutto.

4
Bobby Ortiz

WebZip è anche un buon prodotto.

4
Herb Caudill

Per Linux e OS X: Ho scritto grab-site per l'archiviazione di interi siti web in WARC files. Questi file WARC possono essere sfogliati o estratti. grab-site ti consente di controllare quali URL saltare utilizzando espressioni regolari e questi possono essere modificati quando la scansione è in esecuzione. Inoltre viene fornito con un ampio set di valori predefiniti per ignorare gli URL indesiderati.

Esiste un dashboard web per il monitoraggio delle scansioni e opzioni aggiuntive per ignorare il contenuto o le risposte del video su una determinata dimensione.

3
Ivan Kozik

DownThemAll è un componente aggiuntivo di Firefox che scaricherà tutto il contenuto (file audio o video, ad esempio) per una particolare pagina Web con un solo clic. Questo non scarica l'intero sito, ma potrebbe essere una cosa che la domanda stava cercando.

3
Will M

Teleport Pro è un'altra soluzione gratuita che copierà tutti i file da qualunque sia il tuo obiettivo (ha anche una versione a pagamento che ti permetterà di estrarre più pagine di contenuti).

3
Pretzel

Prova BackStreet Browser .

È un browser offline potente e gratuito. Un programma di download e visualizzazione di siti Web ad alta velocità e multi-threading. Effettuando più richieste server simultanee, BackStreet Browser può scaricare rapidamente l'intero sito Web o parte di un sito tra cui HTML, grafica, applet Java, audio e altri file definibili dall'utente e salva tutti i file sul disco rigido, nel loro formato nativo, o come file zip compresso e vista offline.

enter image description here

3
joe

Anche il venerabileFreeDownloadManager.orgha questa caratteristica.

Free Download Manager lo ha in due forme in due forme: Site Explorer e Site Spider :

Site Explorer
Site Explorer consente di visualizzare la struttura delle cartelle di un sito Web e di scaricare facilmente i file o le cartelle necessari.
HTML Spider
Puoi scaricare intere pagine web o anche interi siti web con HTML Spider. Lo strumento può essere regolato per scaricare solo file con estensioni specificate.

Trovo che Site Explorer sia utile per vedere quali cartelle includere/escludere prima di tentare di scaricare l'intero sito, specialmente quando c'è un intero forum nascosto nel sito che non si desidera scaricare, ad esempio.

1

Potenza wget

Mentre wget era già menzionato questa risorsa e la linea di comando era così semplice che pensavo meritasse di essere menzionata: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Vedi questo codice spiegato su explainhell

1
Shwaydogg