robots.txt ? ??? ??? ???? ?? ?? ??? ???? ?? ???? ??? ???? ????? ??????. 2. Python? ??, BeautifulSoup ? Feedgen? ?? ??? ???? RSS ??? ????, ?? ????, ??????. 3. DevTools? ???? HTML ??? ???? ?? ? ??? ???? ?? ???? ?????. 4. FeedGen? ???? ??? RSS ??? XML ???? ???? ??? ??????. 5. Cron ?? Cloud Services? ????? ????? GitHub ??? ?? ? ??? ?? Feed.xml? ????? ???????. 6. JavaScript? ??? ???? ?? ??? ?? ???? ???? ?? ???? ?? ???? ???????. 7. ?? ??, ??? ???? ?? ?? ??? ?????? ??? ?????. ? ?????? ? -RSS ? ????? ??? RSS ??? ???? ?? ?? ? ?? ???? ???? ?? ????? ???? ?? ??, ?? ? ???? ?? ????, ?? ??? ??? ? ??? ??? ???? ??? RSS ??? ????.

? ??? ???? ?? ?? RSS ??? ???? ?? ?? ??? ???? ?? ????? ????? ???? ??? ?????. ?? ???? ????? ??? ???? ????? ???? ???? ????. ????? ????? ???? ??? ??? ????.

1. ?? ??? ?? ?? ??? ??????

???? ?? ?? :

• robots.txt ?? (? : https://example.com/robots.txt )? ???? ????? ????? ??????.
• ???? ??? ??? ?????? . ??? ?? ??? ????? ?????.
• ??? ????? ???? - ???? ??? ??????.
• ???? ?? ???? ????? ?? ??? ??? ?? ??? ??? ????? ?????? .

RSS (??? ??? ?????)? ?? ?????? ???? ???? ? ???? ??? ? XML ?????. ??? ? ????? ???? ?? ? ????.

2. ??? ??? ??????

??? ?? ??? ?????.

• ? ???? ?? ????
• ??? ??
• RSS ??? ??????

???? ?? :

• ?????? ?? ??? : :
  • requests ?? httpx - ??? ????
  • BeautifulSoup ?? lxml - HTML? ?? ?????
  • feedgen ?? Manual XML Writing - RSS? ?????
• ?? ?? : Node.js ( puppeteer , cheerio ) ?? ParseHub ?? Apify ? ?? ?? ??? ? ?????.

? ????? Python? ???????.

3. ? ??? ???? ?? ?????

????? ??? ???? ???? ?? RSS ??? ??? ??? ?? ? ???.

? : ?? ?? ? ??? ???????

 ?? ?? ??
BS4 Import BeautifulSoup??
urllib.parse import urljoin??

url = "https://example-blog.com"
?? = {
    "??? - ????": "RSS BOT- me@youremail.com? ??????."
}

?? = requests.get (URL, ?? = ??)
soup = beautifulSoup (response.text, 'html.parser')

# ?? ?? ?? (???? ?? ??? ??)
?? = []
soup.select? ??? ?? ( 'h2 a [href]') : # ?? ??
    title = item.get_text (strip = true)
    link = urljoin (url, ?? [ 'href'])
    articles.append ({ 'title': title, 'link': link})

? ? : HTML? ???? ??? ??? ???? ???? Browser DevTools (F12)? ??????.

4. RSS ??? ?????

feedgen ?? :

 PIP ?? FeedGen

?? ??? ??????.

 FeedGen?? ?? generator

fg = feedgenerator ()
fg.title ( '??? ? ??? ??')
fg.link (href = 'https : //example-blog.com')
fg.description ( '??? ? ????? ?? ? RSS ??')

??? ?? :
    fe = fg.add_entry ()
    Fe.title (?? [ '??'])
    fe.link (href = ?? [ 'link'])

# ?? RSS? ????
rss_feed = fg.rss_str (pretty = true)

# ??? ??
open ( 'feed.xml', 'w')?? f :
    F.Write (RSS_FEED.DECODE ( 'UTF-8'))

?? RSS ??? ?? ? ??? ??? feed.xml ??? ????.

5. ??? ????? ???????

??? ??????? :

• Cron (Linux/Mac) ?? ?? ???? (Windows)? ???? ????? ????? ??????.
• ?? ???? ?? (? : Github ?? , Google ???? ?? , ?? ?? Pythonannywhere )? ???? ?? ??????.

????? ??? ? ??? feed.xml ??? ???????.

• Github ???
• ??? ? ??
• dropbox/public ?? ?? (???? ??)

?? ?? https://yourdomain.com/feed.xml ? ?? URL? ??????

??? : ?? ???? ?????

???? JavaScript? ???? ??? (? : React, Infinite Scroll)????? requests ???? ????. ??:

• selenium
• playwright
• puppeteer (node.js)

??? (Python)? ? :

 PIP PIP ?? ???
??? ??

 Playwright.sync_api import sync_playwright??

sync_playwright ()? ?? p :
    ???? = p.chromium.launch ()
    page = browser.new_page ()
    page.goto ( "https://example-blog.com")
    content = page.content ()
    Browser.close ()

# ?? ?? ??? ?? BeautifulSoup? ?? ??????
?? = BeautifulSoup (content, 'html.parser')

?? ??

• ?? ???? ??? ???? ?? ??????.
• ?? ??? ?? ? ??? ?? RSS ??? pubDate ??????.
• ??? ??? ?? ??? ???????? - HTML? ???? ?????? ??? ? ????.

????? 3 ?? ??????? : Fetch → Extract → ?? . ?? ???? RSS? ?? ?? ?? ???? ???? ???? ?? ?? ???? ?? ? ? ????.

??? ???? - ?? ??? ??.

? ??? ? ??? ???? ?? ?? RSS ??? ??? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!