????? ???? Amazon?? ? ?? ??? ??? ????. Medium?? ?? ????? ??? ???? ?? ?? ???. ?????! ??? ??? ??? ?????!

Python? ?????? ??? ???? ?? ??? ???? ? ??? ??? ??? ??? ?????. ??? ?? ???? ??? ???? ????? ?? ???? ???? ??? ??? ?? ??????. ? ????? ???? ??? ???? ???? ??? ??? ??? ???? ?? 5?? ??? Python ??? ???????.

Apache Kafka ? kafka-python

Apache Kafka? ?? ???, ???? ? ?? ??? ??? ?????? ???? ?? ???? ??????. kafka-python ?????? Kafka? Python ?????? ????? ??? ????? ?? ???? ???? ?? ??? ? ????.

kafka-python? ????? pip? ???? ???? ???.

pip install kafka-python

Kafka ????? ??? ??? ?? ??? ????.

from kafka import KafkaProducer
import json

producer = KafkaProducer(bootstrap_servers=['localhost:9092'],
                         value_serializer=lambda v: json.dumps(v).encode('utf-8'))

producer.send('my_topic', {'key': 'value'})
producer.flush()

? ??? localhost:9092?? ???? Kafka ???? ???? KafkaProducer? ?????. ?? ?? JSON?? ???? ???? 'my_topic' ??? ????.

??? ??? ?? KafkaConsumer? ??? ? ????.

from kafka import KafkaConsumer
import json

consumer = KafkaConsumer('my_topic',
                         bootstrap_servers=['localhost:9092'],
                         value_deserializer=lambda m: json.loads(m.decode('utf-8')))

for message in consumer:
    print(message.value)

? ???? 'my_topic' ??? ?? ? ???? ????? ???? ???? ???? ?????.

???? ?? ??? ???? ???? Kafka? ??? ?? ??, ??? ??, ??? ?? ?????? ?? ????? ??????.

??? I/O? ?? AsyncIO

AsyncIO? async/await ??? ???? ?? ??? ???? ?? Python ????????. I/O ?? ??? ?? ????? ???? ??? ??? ??? ???? ??????? ??? ?????.

??? AsyncIO? ???? ??? ???? ???? ????.

import asyncio
import aiohttp

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.json()

async def process_stream():
    while True:
        data = await fetch_data('https://api.example.com/stream')
        # Process the data
        print(data)
        await asyncio.sleep(1)  # Wait for 1 second before next fetch

asyncio.run(process_stream())

? ??? aiohttp? ???? API ??????? ???? ?????? ?????. process_stream ??? ?? ?? ????? ???? ???? ????? ??? ???? ????? ??? ? ????.

AsyncIO? ?? ??? ???? ??? ???? ?? ??? ???? ?????? ??? ?? I/O ???? ??? ??? ? ?? ????.

PySpark ????

PySpark Streaming? ??? ??? ???? ?? ???? ???? ??? ????? ?? ??? ??? ???? ?? ?? Spark API? ?????. Kafka, Flume, Kinesis? ?? ??? ??? ?????.

PySpark Streaming? ????? Apache Spark? ???? ???? ???. ??? ??? ???? ??????? ??? ??? ????.

pip install kafka-python

? ???? ???? ???? ?? ?? ??? ???? ?? ?? ???? ???? ????? ?????. ??? ???? ?? ????? ?????.

PySpark Streaming? ?? ???? ??? ??? ??? ?? ??? ?? ?????. ??? ?? ??, ?? ??, ?? ??? ?? ??? ?? ?????? ????? ?????.

??? ?????? ?? RxPY

RxPY? Python? ??? ?????? ?? ????????. ?? ??? ???? ?? ???? ???? ??? ? ??? ?? ????? ???? ??? ?????.

??? RxPY? ???? ??? ???? ???? ????.

from kafka import KafkaProducer
import json

producer = KafkaProducer(bootstrap_servers=['localhost:9092'],
                         value_serializer=lambda v: json.dumps(v).encode('utf-8'))

producer.send('my_topic', {'key': 'value'})
producer.flush()

? ??? ?? ??? ???? ???? ??? ??? ?(? ?? ? ?? ??? 5?? ? ?? ???) ??? ?????.

RxPY? ??? ?? ????? ????? ??? ??? ?? ?????? ???? ? ? ?? ?????. ??? UI ????, ??? ?? ?? ?? IoT ??????? ?? ??? ??? ?? ?????? ?? ?????.

??? ??? ?? ????

Faust? Kafka Streams?? ??? ?? ??? ??? Python ????????. ?? ?? ??? ?? ???? ???? ??????? ??? ? ????.

??? ??? ???? ??????? ????.

from kafka import KafkaConsumer
import json

consumer = KafkaConsumer('my_topic',
                         bootstrap_servers=['localhost:9092'],
                         value_deserializer=lambda m: json.loads(m.decode('utf-8')))

for message in consumer:
    print(message.value)

? ??? Kafka ??? ???? ???? ????? ???? Faust ??????? ?????. @app.agent ?????? ? ???? ??? ? ?? ???? ??? ????? ?????.

Faust? ??? ?? ???????? ??? ??? ?????? ???? ? ?? ?????. ?? ??, ??? ??, ???? ???? ?? ?????? ?? ?????.

???? ??? ????? ?? ?? ??

??? ??? ??? ? ??? ?? ?? ??? ??? ?? ?? ?????.

1. ? ?? ?? ??: ???? ??? ???? ??? ? ???? ??? ?? ?? ?? '?'?? ????? ?? ??? ??? ????. ?? ?? ?? ??? ?? ?? ? ??? ?????.

2. ?? ?? ??? ?? ??: ??? ?? ?? ??? ?? ??? ???? ?? ?? ???????? ?? ??? ? ????. Faust ? PySpark Streaming? ?? ?????? ?? ?? ??? ?? ????? ?????.

3. ?? ??: ??? ? ?? ??? ? ?? ??? ???? ???? ?? ?? ????? ???? ??? ???? ?????. ???? ???, ??? ?? ?? ????? ??? ???? ??? ??? ? ????.

4. ???? ??: ?? ??? ?? ?????? ??? ?? ?? ? ?? ????? ?????. ???? ????? ? ??? 1? ?? ???? ?? ??? ??? ? ????.

5. ?? ??: ???? ??????? ?? ??? ? ??? ?????. ???? ???? ???? ?? ??? ??? ????? ??? ???? ??? ????.

?? ??????

??? ???? ? ??? ??? ?? Python ??? ??? ????? ?? ????? ????.

IoT ??? ??: IoT ?????? ??? ???? ?? ??? ???? ?????. AsyncIO ?? RxPY? ?? ??? ???? ? ???? ????? ????? ???? ???? ??? ??? ??? ? ????.

?? ?? ??? ??: ??? ?? ? ??? ?? ??? ???? ???? ?? ???? ??? ???? ???? ???. PySpark Streaming ?? Faust? ???? ?? ??? ??? ??? ?? ?? ??? ???? ??? ? ????.

??? ???? ???: ???? ???? ?? ??? ?? ??? ?? ??????? ?? Kafka-python? ??? Kafka? ???? ???? ???? ????? ???? ???? ??? ??? ?????? ??? ? ????.

?? ??? ??: ?? ??? ???? ???? API? ???? ??? ??? ?????. RxPY ?? Faust? ???? ?? ??? ???? ????? ???? ??? ???? ??? ? ????.

?? ??: ??? ??????? ??? ?? ?? ???? ?????. PySpark Streaming? ???? ??? ??? ????? ???? ??? ?? ??? ??? ??? ? ????.

???? ?? ??? ???? ???? ?? ??? ???? ????? ???? ??? ?? ? ????? ????. ??? Python ??? ????? ?? ???? ??? ??? ???? ??????? ???? ?? ??? ??? ?????.

kafka-python, AsyncIO, PySpark Streaming, RxPY, Faust? ?? ?????? ???? ???? ???? ?? ??? ???? ?? ???? ??? ??? ?? ?????? ?? ? ????. IoT ?? ???, ?? ?? ??, ?? ??? ??? ? ??? ???? ??? ??? ??? ??? ??? ??? ???? ??? ?????.

???? ??? ????? ??? ???? ???? ??? ??? ?? ???? ??? ?? ?????. ???? ??????? ??? ?? ?? ??? ??, ?? ??, ????, ???? ?? ??? ?????. ??? ?? ??? ??? ?? ??? Python ??? ???? ?? ???? ??? ???? ??? ??? ? ?? ??? ??? ???.

---

101?

101 Books? ?? Aarav Joshi? ?? ??? AI ?? ??????. ?? AI ??? ???? ?? ??? ?? ? ?? ??? ?? ?????. ?? ??? ??? $4?? ???? ?? ??? ??? ??? ??? ? ????.

????? ?? ? ?? Golang Clean Code ?? ??? ???.

????? ???? ??? ?? ??? ??? ????. ?? ??? ? Aarav Joshi? ??? ? ?? ?? ?????. ??? ??? ???? ????? ?????!

??? ???

?? ???? ? ??? ???.

???? ??? | ??? ?? ???? | ?? ?? ??? | ????? | ??? ??? | ????? ???? | ???? | ??? ??? | JS ??

---

??? ??? ????

?? ??? ???? | Epochs & Echoes World | ??????? | ???? ???? ?? | ??? ??? ?? | ?? ????

? ??? ???? ??? ???? ? ??? ??? ?? ??? Python ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!