Hoe je met één commando een complete website back-upt met HTTrack

Wilt u ooit een hele website opslaan voor offline weergave? Misschien moet u belangrijke documentatie bewaren, een back-up maken van uw eigen website, of educatieve inhoud opslaan voor offline toegang. HTTrack is een gratis tool die dit ongelooflijk eenvoudig maakt, en ik zal u laten zien hoe u dit met slechts één commando kunt doen.

Wat is HTTrack?

HTTrack is als een tijdmachine voor websites. Het maakt een exacte kopie van een website die u offline op uw computer kunt bekijken. Zie het als het maken van een momentopname van een website die u altijd kunt openen, zelfs zonder internetverbinding.

Het enige commando dat u nodig hebt

Hier is het magische commando dat een hele website zal downloaden:

httrack "https://website-to-copy.com" -O "./website_backup" -%v

Laten we in eenvoudige bewoordingen uitleggen wat dit betekent:

httrack: Dit start het programma
"https://website-to-copy.com": Vervang dit door de website waarvan u een back-up wilt maken
-O "./website_backup": Dit maakt een nieuwe map aan genaamd 'website_backup' waar alle bestanden worden opgeslagen
-%v: Dit toont u de voortgang terwijl het werkt

Hoe te beginnen

Stap 1: Installeer HTTrack

Voordat u het commando gebruikt, moet u HTTrack installeren. Het is gratis en beschikbaar voor Windows, Mac en Linux:

Windows: Download de installer van de officiële HTTrack website
Mac: Gebruik Homebrew en typ: brew install httrack
Linux: Gebruik uw pakketbeheerder: sudo apt-get install httrack (Ubuntu/Debian)

Stap 2: Voer het commando uit

Open uw terminal of opdrachtprompt, navigeer naar de locatie waar u de website wilt opslaan en voer het bovenstaande commando uit (vervang de voorbeeld-URL door uw doelwebsite).

Wat gebeurt er daarna?

HTTrack begint met het downloaden van de website. Afhankelijk van de grootte van de website kan dit enkele minuten tot enkele uren duren. U ziet een voortgangsindicator die aangeeft:

Hoeveel bestanden er zijn gedownload
De huidige downloadsnelheid
Geschatte resterende tijd

Uw offline website openen

Zodra de download is voltooid, vindt u een nieuwe map genaamd 'website_backup' (of welke naam u ook hebt gekozen). Zoek binnenin naar 'index.html' en open deze in uw webbrowser. U kunt nu de hele website bekijken, net zoals u online zou doen!

Omgaan met beveiligde websites (WAF-omzeiling)

Sommige websites gebruiken Web Application Firewalls (WAF's) die geautomatiseerde crawlers zoals HTTrack blokkeren. Als u foutmeldingen over toegang geweigerd krijgt of als de download mislukt, kunt u aangepaste headers gebruiken om HTTrack meer op een normale browser te laten lijken.

Wat zijn headers? Headers zijn stukjes informatie die uw browser bij elke aanvraag naar websites stuurt, als een identiteitskaart die zegt: "Ik ben Firefox op Mac, ik spreek Nederlands en ik kan HTML-bestanden verwerken." WAF's controleren deze om bots te detecteren.

httrack "https://website-to-copy.com" \
-O "./website_backup" \
-H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" \
-H "Accept-Language: nl-NL,nl;q=0.7" \
-H "Accept-Encoding: gzip, deflate, br, zstd" \
-H "Update-Insecure-Requests: 1" \
-H "DNT: 1" \
-H "Sec-Fetch-Dest: document" \
-H "Sec-Fetch-Mode: navigate" \
-H "Sec-Fetch-Site: none" \
-H "Sec-Fetch-User: ?1" \
-H "Sec-GPC: 1" \
--user-agent "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:142.0) Gecko/20100101 Firefox/142.0" \
-%v

Hier is wat elke header doet:

Accept: Vertelt de server welke bestandstypen de browser kan verwerken (HTML, XML, enz.)
Accept-Language: Geeft de voorkeurstalen aan (Nederlands in dit geval)
Accept-Encoding: Geeft aan welke compressiemethoden de browser ondersteunt
Update-Insecure-Requests: Signaleert dat de browser de voorkeur geeft aan HTTPS boven HTTP
DNT: "Do Not Track" privacyvoorkeur
Sec-Fetch-Dest: Geeft de bestemming van de aanvraag aan (document in dit geval)
Sec-Fetch-Mode: Geeft de modus van de aanvraag aan (navigate voor paginanavigatie)
Sec-Fetch-Site: Geeft de relatie aan tussen de oorsprong en bestemming van de aanvraag
Sec-Fetch-User: Geeft aan of de aanvraag is geactiveerd door gebruikersinteractie
Sec-GPC: Global Privacy Control signaal
User-agent: Identificeert de browser als Firefox aan de website

Deze headers laten HTTrack lijken op een legitieme Firefox-browser in plaats van een geautomatiseerde crawler, wat helpt bij het omzeilen van basis botdetectiesystemen.

Onderbroken downloads hervatten

Een van de beste functies van HTTrack is de mogelijkheid om onderbroken downloads te hervatten. Als uw internetverbinding wegvalt of u de download moet stoppen, slaat HTTrack automatisch de voortgang op in cachebestanden.

Om een download te hervatten, voert u simpelweg opnieuw exact hetzelfde commando uit. HTTrack zal:

De bestaande projectbestanden in uw uitvoermap detecteren
Controleren welke pagina's al zijn gedownload
Doorgaan vanaf waar het gebleven was zonder voltooide bestanden opnieuw te downloaden
Eventuele pagina's bijwerken die sinds de laatste download mogelijk zijn gewijzigd

HTTrack maakt verschillende trackingbestanden aan in uw projectmap:

hts-cache/: Bevat de downloadcache en voortgangsinformatie
hts-log.txt: Gedetailleerd logboek van alle downloadactiviteiten
*.ndx files: Indexbestanden die bijhouden welke URL's zijn verwerkt

Dit maakt HTTrack perfect voor het downloaden van grote websites over meerdere sessies, wat vooral handig is bij onbetrouwbare internetverbindingen of enorme sites die uren nodig hebben om te voltooien.

Belangrijke tips

Controleer altijd of u toestemming hebt om een website te downloaden
Wees geduldig met grote websites, ze duren langer om te downloaden
Zorg ervoor dat u voldoende opslagruimte hebt op uw computer
Sommige websites kunnen beperkingen hebben die een volledige kopie voorkomen
Als het basiscommando mislukt, probeer dan de WAF-omzeilingsversie met aangepaste headers
Gebruik headers verantwoord en respecteer snelheidslimieten om servers niet te overbelasten
Verwijder de hts-cache map niet als u van plan bent de download later te hervatten of bij te werken

Veelvoorkomende toepassingen

Mensen gebruiken HTTrack voor veel doeleinden:

Back-ups maken van hun eigen websites
Belangrijke documentatie opslaan voor offline referentie
Websites archiveren die mogelijk verdwijnen
Offline kopieën maken van educatieve bronnen

Vergeet niet altijd de rechten en servicevoorwaarden van website-eigenaren te respecteren bij het gebruik van deze tool.