# 🗺️ Sitemap Generator - Mit automatischem Website-Crawler
Kostenloser Online-XML-Sitemap-Generator mit **automatischem Crawler**, Benutzerkonten, Werbeverwaltung und professionellem 2-Spalten-Design.
## ⚡ Features
### 🕷️ **NEU: Automatischer Website-Crawler**
- ✅ **URL eingeben → System crawlt automatisch**
- ✅ Findet alle internen Links
- ✅ Rekursiver Crawl (einstellbare Tiefe)
- ✅ Ignoriert externe Links
- ✅ Überspringt Medien-Dateien (Bilder, PDFs, etc.)
- ✅ Einstellbare max. URL-Anzahl
- ✅ Live-Fortschritt anzeigen
### 🎯 Benutzer-Features
- ✅ **Automatische Sitemap-Generierung**
- ✅ Manuelle URLs hinzufügen/entfernen
- ✅ Registrierung zum Speichern von Sitemaps
- ✅ Mehrere Sitemaps verwalten
- ✅ XML-Dateien herunterladen
- ✅ Changefreq & Priorität pro URL
- ✅ Benutzer-Dashboard
### 💰 Monetarisierung
- ✅ 5 Werbepositionen (Sidebar + Content)
- ✅ Banner-Bilder
- ✅ Google AdSense
- ✅ Custom HTML Werbung
- ✅ Klick & Impression Tracking
### 👨💼 Admin-Features
- ✅ Werbung erstellen & verwalten
- ✅ Benutzer sperren/entsperren
- ✅ Alle Sitemaps anzeigen
- ✅ Statistik-Dashboard
## 🕷️ Crawler-Funktionsweise
```
1. User gibt Domain ein: https://beispiel.de
2. System startet Crawler
3. Crawler findet alle <a href> Links
4. Nur interne Links (gleiche Domain)
5. Rekursiv bis Max-Tiefe
6. Ignoriert Medien & externe Links
7. Zeigt gefundene URLs
8. User kann bearbeiten
9. Sitemap generieren
```
### **Crawler-Einstellungen:**
- **Maximale Tiefe:** 1-4 Ebenen
- **Max. URLs:** 25, 50, 100, 200
- **Timeout:** 5 Sekunden pro Seite
- **User-Agent:** Mozilla/5.0 (Sitemap Generator Bot)
## 🎨 Design
2-Spalten-Layout:
- **Sidebar**: Navigation + Werbeflächen (250x250)
- **Hauptbereich**: Generator + Werbeflächen (728x90)
- Responsive & Mobile-optimiert
## 📊 Werbepositionen
```
sidebar_top - Kleiner Banner (Sidebar)
sidebar_bottom - Kleiner Banner (Sidebar)
content_top - Großer Banner (über Crawler)
content_middle - Großer Banner (Mitte)
content_bottom - Großer Banner (Footer)
```
## 🚀 Installation
```bash
1. Dateien hochladen
2. install.php aufrufen
3. DB-Zugangsdaten eingeben
4. Fertig!
```
## 💻 Dateien
```
install.php - Installation
config.php - Datenbank-Config
functions.php - Hilfsfunktionen & Werbesystem
crawler.php - ⭐ Auto-Crawler System
login.php - Login
register.php - Registrierung
index.php - Generator mit Crawler
generator.php - Backend (XML-Generierung)
dashboard.php - Benutzer-Sitemaps
download.php - XML Download
admin.php - Admin-Panel
ad_click.php - Werbe-Klick-Tracking
style.css - 2-Spalten-Design
```
## 🗺️ Funktionsweise
### Für Benutzer:
1. Website-URL eingeben
2. \"Website durchsuchen\" klicken
3. System crawlt automatisch
4. Gefundene URLs prüfen/bearbeiten
5. Optional: Manuelle URLs hinzufügen
6. \"Sitemap generieren\" klicken
7. XML herunterladen
8. (Optional) Registrieren zum Speichern
### Crawler-Features:
- ✅ Automatische Link-Erkennung
- ✅ Nur interne Links
- ✅ Duplikate werden entfernt
- ✅ Fragment-URLs (#) ignoriert
- ✅ JavaScript/Mailto Links überspringen
- ✅ Relative URLs → Absolute URLs
- ✅ Query-Parameter erhalten
## 🔧 Technische Details
### Crawler-Algorithmus:
```php
1. Start bei Homepage
2. HTML laden (file_get_contents)
3. Regex: <a href=\"...\"> finden
4. Links normalisieren
5. Domain-Check (nur intern)
6. Zu Queue hinzufügen
7. Rekursiv bis Max-Tiefe
8. Ergebnis zurückgeben
```
### Sicherheit:
- ✅ URL-Validierung
- ✅ Timeout (5 Sek/Seite)
- ✅ Max-Redirects (3)
- ✅ File-Extension Filter
- ✅ XSS-Schutz
## 📈 Performance
- **Crawl-Speed:** ~1-2 Sekunden pro Seite
- **Max. URLs:** 200 (konfigurierbar)
- **Max. Tiefe:** 4 Ebenen
- **Timeout:** 5 Sekunden
- **Memory:** ~50MB für 100 URLs
## 💡 Geschäftsmodell
**100% Kostenlos für Benutzer**
- Keine Limits
- Automatischer Crawler
- Keine Wasserzeichen
**Umsatz durch Werbung**
- 5 strategische Ad-Positionen
- Google AdSense Integration
- Performance Tracking
## 🚧 Zukünftige Erweiterungen
- [ ] Sitemap.xml Import
- [ ] Robots.txt beachten
- [ ] JavaScript-Rendering (für SPAs)
- [ ] Crawl-Scheduling
- [ ] Broken-Link-Check
- [ ] HTML-Sitemap
- [ ] Multi-Domain Support
## ⚠️ Wichtig
### Crawler-Limits:
- Respektiert robots.txt (TODO)
- Max. 200 URLs pro Crawl
- 5 Sekunden Timeout
- Nur HTTP/HTTPS
### Best Practices:
- Kleine Websites (<100 Seiten) perfekt
- Große Websites: Manuelle URLs
- XML-Import nutzen (falls vorhanden)
---
**Status:** ✅ Production Ready
**Version:** 2.0 (mit Auto-Crawler)
**DB-Struktur:** Unverändert ✅
