Gunakan permintaan.Session () untuk menghantar permintaan pos dan mengekalkan sesi untuk log masuk ke Laman Web; 2. Gunakan BeautifulSoup untuk menghuraikan halaman log masuk untuk mendapatkan medan tersembunyi seperti token CSRF; 3. Membina data log masuk yang mengandungi nama pengguna, kata laluan dan token dan serahkannya; 4. Sahkan bahawa log masuk berjaya dan periksa "Logout" atau "Dashboard" dalam kandungan tindak balas; 5. Selepas log masuk yang berjaya, gunakan sesi yang sama untuk mengakses halaman yang dilindungi dan ambil kandungan yang diperlukan; 6. Bagi halaman yang dinamik yang diberikan oleh JavaScript, selenium harus digunakan untuk mensimulasikan operasi pelayar; 7. Sentiasa mematuhi laman web robots.txt dan terma penggunaan Laman Web, elakkan kelayakan keras dalam persekitaran pengeluaran, dan mengesyorkan menggunakan pembolehubah persekitaran untuk menyimpan maklumat sensitif, dan akhirnya memastikan bahawa tingkah laku mengikis adalah sah dan mematuhi.

Jika anda perlu mengikis laman web yang memerlukan log masuk, anda biasanya perlu menghantar permintaan pos dengan kelayakan anda terlebih dahulu, mengekalkan sesi, dan kemudian mengakses halaman yang dilindungi. Berikut adalah contoh praktikal menggunakan requests Python dan perpustakaan BeautifulSoup untuk log masuk dan mengikis halaman di belakang pengesahan.

Kami akan menggunakan struktur borang log masuk dummy (seperti banyak laman web sebenar) dan menunjukkan cara mengendalikannya.

? 1. Perpustakaan yang diperlukan

Pasang pakej yang diperlukan jika anda belum:

 PIP Pasang Permintaan Cantik4

? 2. Contoh: Log masuk dan mengikis halaman

 permintaan import
dari bs4 import cantikSoup

# Langkah 1: Mulakan sesi
sesi = permintaan.Session ()

# Langkah 2: URL halaman log masuk (contoh)
login_url = 'https://httpbin.org/post' # Placeholder - Ganti dengan URL Log Masuk Sebenar
sasaran_url = 'https://example.com/dashboard' # halaman yang anda mahu mengikis selepas log masuk

# Langkah 3: Dapatkan halaman log masuk (untuk mengeluarkan medan borang tersembunyi seperti token CSRF jika diperlukan)
login_page = session.get ('https://example.com/login')
sup = cantikSoup (login_page.content, 'html.parser')

# Pilihan: Ekstrak Input Tersembunyi (misalnya, token CSRF)
csrf_token = soup.find ('input', {'name': 'csrf_token'}) ['nilai'] # laraskan nama seperti yang diperlukan

# Langkah 4: Sediakan muatan log masuk
muatan = {
    'Nama Pengguna': 'Your_username',
    'Kata Laluan': 'Your_password',
    'csrf_token': csrf_token # termasuk jika hadir
}

# Langkah 5: Hantar borang log masuk
respons = session.post ('https://example.com/login', data = muatan)

# Langkah 6: Periksa sama ada log masuk berjaya
Jika "logout" sebagai response.text atau "papan pemuka" sebagai respons.text:
    Cetak ("? login berjaya")
lain:
    cetak ("? login gagal")
    cetak (respons.status_code)
    cetak (response.text [: 500]) # output debug
    keluar ()

# Langkah 7: Kikis halaman yang dilindungi
protected_page = session.get (target_url)
sup = indahSoup (protected_page.content, 'html.parser')

# Contoh: Ekstrak Tajuk Halaman atau Kandungan Khusus
Cetak ("Tajuk Halaman:", soup.title.string)
# Atau mengikis data
data = soup.find_all ('div', kelas _ = 'kandungan') # menyesuaikan pemilih
Untuk item dalam data:
    cetak (item.get_text (jalur = benar))

? 3. Mata Utama untuk Diingati

• Kegigihan Sesi : Gunakan requests.Session() untuk menjaga kuki dan terus log masuk.
• Periksa borang log masuk : Gunakan penyemak imbas devtools (F12) ke:
  • Cari URL Log Masuk yang betul (atribut action Borang)
  • Semak nama medan input (misalnya, username , email , password , csrf_token )
• CSRF & Medan Tersembunyi : Banyak laman web memerlukan token - selalu periksa input tersembunyi.
• HTTPS & Keselamatan : Jangan sekali -kali kelayakan Hardcode dalam pengeluaran. Gunakan pembolehubah persekitaran:

   Import OS
  nama pengguna = os.getenv ('login_user')
  kata laluan = os.getenv ('login_pass')

• Hormati robots.txt dan terma perkhidmatan - Pengikatan boleh dilarang.

? 4. Contoh dunia nyata (corak generik)

 permintaan import
dari bs4 import cantikSoup
Import OS

sesi = permintaan.Session ()

# Beban Kredensial
User = os.getenv ('nama pengguna', 'test@example.com')
Lulus = os.getenv ('kata laluan', 'rahsia')

# Ambil halaman log masuk
resp = session.get ('https://example.com/login')
sup = indahSoup (resp.text, 'html.parser')

# Ekstrak token csrf
token = soup.find ('input', {'name': 'Authenticity_token'}) ['Value']

# Data log masuk
data = {
    'Authenticity_token': token,
    'Pengguna [E -mel]': Pengguna,
    'pengguna [kata laluan]': lulus,
    'komit': 'log masuk'
}

# Hantar ke log masuk
r = session.post ('https://example.com/sessions', data = data)

# Sekarang mengikis
Dashboard = session.get ('https://example.com/my-account')

? 5. Alternatif: Gunakan selenium untuk laman web javascript

Jika log masuk dikendalikan oleh JavaScript (misalnya, bertindak balas, vue), gunakan Selenium :

 dari Webdriver Import Selenium
dari selenium.webdriver.common.by import oleh

pemandu = webdriver.chrome ()
Driver.get ("https://example.com/login")

driver.find_element (by.name, "nama pengguna"). Send_keys ("your_user")
driver.find_element (by.name, "kata laluan"). Send_keys ("your_pass")
driver.find_element (by.xpath, "// butang [@type = 'hantar']"). Klik ()

# Tunggu dan pergi ke halaman sasaran
driver.implicitly_wait (5)
Driver.get ("https://example.com/profile")

cetak (driver.page_source)
pemandu.quit ()

Pada asasnya, untuk bentuk mudah: requests Session berfungsi hebat. Untuk tapak dinamik: Pergi dengan Selenium . Sentiasa menguji skala kecil dan periksa dasar tapak.

Atas ialah kandungan terperinci Python Web mengikis dengan contoh log masuk. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!