Verwenden Sie Anforderungen.Session (), um eine Postanforderung zu senden und eine Sitzung zu führen, um sich bei der Website anzumelden. 2. Verwenden Sie die wundersch?ne Gruppe, um die Anmeldeseite zu analysieren, um versteckte Felder wie CSRF -Token zu erhalten. 3.. Konstrukt -Anmeldedaten mit Benutzername, Kennwort und Token und einreichen; 4. überprüfen Sie, ob der Anmeldung erfolgreich ist, und überprüfen Sie das "Abmelden" oder "Dashboard" im Antwortinhalt. 5. Verwenden Sie nach einer erfolgreichen Anmeldung dieselbe Sitzung, um auf die geschützte Seite zuzugreifen und den erforderlichen Inhalt zu greifen. 6. Für Seiten, die von JavaScript dynamisch gerendert werden, sollte stattdessen Selen verwendet werden, um Browseroperationen zu simulieren. 7. Machen Sie die Website robots.txt und die Nutzungsbedingungen der Website immer ein, vermeiden Sie hartcodierte Anmeldeinformationen in der Produktionsumgebung und empfehlen Sie die Verwendung von Umgebungsvariablen, um vertrauliche Informationen zu speichern, und stellen Sie letztendlich sicher, dass das Schablonenverhalten legal und konform ist.

Wenn Sie eine Website kratzen müssen, für die Anmeldung erforderlich ist, müssen Sie normalerweise zuerst eine Postanforderung mit Ihren Anmeldeinformationen senden, die Sitzung pflegen und dann auf die geschützten Seiten zugreifen. Hier ist ein praktisches Beispiel, das Pythons requests und BeautifulSoup Bibliotheken verwendet, um eine Seite hinter der Authentifizierung anzumelden und zu kratzen.

Wir werden eine Dummy -Anmeldeformform (wie viele reale Websites) verwenden und zeigen, wie man damit umgeht.

? 1. Erforderliche Bibliotheken

Installieren Sie die ben?tigten Pakete, wenn Sie nicht:

 PIP Installieren Sie Anfragen BeautifulSoup4

? 2. Beispiel: Login und kratzen Sie eine Seite an

 Anfragen importieren
Aus BS4 Import BeautifulSoup

# Schritt 1: Starten Sie eine Sitzung
Sitzung = Anforderungen.Session ()

# Schritt 2: URL der Anmeldeseite (Beispiel)
login_url = 'https://htttpbin.org/post' # Platzhalter - Ersetzen Sie durch die tats?chliche Anmelde -URL
target_url = 'https://example.com/dashboard' # Seite, die Sie nach dem Anmeldung kratzen m?chten

# Schritt 3: Holen Sie sich die Anmeldeseite (um versteckte Formularfelder wie CSRF -Token bei Bedarf zu extrahieren)
login_page = session.get ('https://example.com/login')
Suppe = BeautifulSoup (login_page.Content, 'html.parser')

# Optional: Versteckte Eing?nge extrahieren (z. B. CSRF -Token)
csrf_token = upscin.find ('Eingabe', {'Name': 'csrf_token'}) ['Wert'] # den Namen nach Bedarf anpassen

# Schritt 4: Bereiten Sie die Anmeldungnutzlast vor
payload = {
    'Benutzername': 'dein_username',
    'Passwort': 'dein_password',,
    'csrf_token': csrf_token # inklusive wenn vorhanden
}

# Schritt 5: Anmeldeformular einreichen
response = session.post ('https://example.com/login', data = payload)

# Schritt 6: überprüfen Sie, ob das Login erfolgreich war
Wenn "logout" als Antwort.text oder "Dashboard" als Antwort.text:
    print ("? Login erfolgreich")
anders:
    print ("? Anmeldung fehlgeschlagen")
    print (Antwort.Status_code)
    print (Antwort.Text [: 500]) # Debug -Ausgabe
    Ausfahrt()

# Schritt 7: Kratzen Sie eine geschützte Seite ab
protected_page = session.get (target_url)
Suppe = BeautifulSoup (protected_page.content, 'html.parser')

# Beispiel: Seitentitel oder spezifischen Inhalt extrahieren
print ("Seitentitel:", Suppe.Title.String)
# Oder kratzen Sie Daten ab
Data = Suppe.find_all ('Div', Klasse _ = 'Inhalt') # Selector einstellen
Für Artikel in Daten:
    print (item.get_text (strip = true))

? 3. Schlüsselpunkte, die sich erinnern sollten

• Sitzung Persistenz : Verwenden Sie requests.Session() um Cookies zu halten und angemeldet zu bleiben.
• überprüfen Sie das Anmeldeformular : Verwenden Sie Browser Devtools (F12), um:
  • Suchen Sie die korrekte Anmelde -URL ( action des Formulars).
  • überprüfen Sie die Eingabefeldnamen (z. B. username , email , password , csrf_token )
• CSRF & Hidden Fields : Viele Websites ben?tigen Token - prüfen Sie immer, ob versteckte Eingaben.
• HTTPS & Security : Nie Hardcode -Anmeldeinformationen in der Produktion. Verwenden Sie Umgebungsvariablen:

   OS importieren
  userername = os.getenv ('login_user')
  password = os.getenv ('login_pass')

• Respektieren Sie robots.txt und Nutzungsbedingungen - Scraping kann verboten werden.

? 4. Real-World-Beispiel (generisches Muster)

 Anfragen importieren
Aus BS4 Import BeautifulSoup
OS importieren

Sitzung = Anforderungen.Session ()

# Anmeldeinformationen laden
User = os.getenv ('Benutzername', 'test@example.com')
Pass = os.getenv ('Passwort', 'Secret')

# Anmeldeseite abrufen
resp = session.get ('https://example.com/login')
Suppe = BeautifulSoup (resp.text, 'html.parser')

# CSRF -Token extrahieren
token = upscin.find ('input', {'name': 'authenticity_token'}) ['Wert']

# Anmeldedaten
Data = {
    'Authenticity_Token': Token,
    'Benutzer [E -Mail]': Benutzer,
    'Benutzer [Passwort]': Pass,
    'Commit': 'Anmelden' '
}

# Posten, um sich anzumelden
r = session.post ('https://example.com/sessions', Data = Data)

# Jetzt kratzen
Dashboard = Session.get ('https://example.com/my-count')

? 5. Alternative: Verwenden Sie Selenium für JavaScript-hochwertige Websites

Wenn die Anmeldung von JavaScript (z. B. React, Vue) behandelt wird, verwenden Sie Selenium :

 vom Selenium importieren Webdriver
von selenium.webdriver.common.by importieren nach

Driver = WebDriver.chrome ()
Driver.get ("https://example.com/login"))

Driver.find_element (von.name, "Benutzername"). send_keys ("your_user")
Driver.find_element (von.name, "Passwort"). send_keys ("your_pass"))
triver.find_element (by.xpath, "// button [@type = 'subieren']"). click ()

# Warten Sie und gehen Sie zur Zielseite
Driver.implicly_wait (5)
Driver.get ("https://example.com/profile"))

print (driver.page_source)
Driver.quit ()

Grunds?tzlich funktioniert für einfache Formulare: requests Session gro?artig. Für dynamische Standorte: Gehen Sie mit Selenium . Testen Sie immer auf kleinem Ma?stab und überprüfen Sie die Richtlinien der Website.

Das obige ist der detaillierte Inhalt vonPython Web Scraping mit Anmeldebeispiel. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!