GO ? KAFKA ??? ??? ??? ??? ???? ?????? ???? ??????. ??? ????? ?????? ??? ?? ???????. 1. ??? GO ??? API? ??? ???? ??? ?? ?? Kafka-Go? ?? ??? ?????. ?? ??? ?????. 2. ?? ?? ?? ?? ??? ??? ?? Sarama? ??????. 3. ???? ??? ?? ??? ??? ??, ?? ??? ??? ??? ???? ????? ?? ?? ?? ? ?? ??? ???????. 4. ???? ??? ??? ???? ?? ?? ?? ?? ??? ???? ???? ???? ???? ?? ??? ????? ???????. 5. ???? ?? JSON, AVRO ?? Protobuf? ???? ??? ?????? ???? ??? ???? ???? ?? ????. 6. ? ?? ????, ??? ? ?? (? : ZAP) ? ???? (? : Prometheus)? ?? ??? ??? ??; 7. ???? ???? ??? ?? ??? ???? ??? ??? ??????. ????, ???? ??? ???? GO ???? ??? ?? ???? ? ???? ??? ??? ??? ? ??? ???? ????? ?? ? ? ????.

GO? ???, ?? ???? ???? ? ???? ??????? Apache Kafka? ??? ? ?? ???? ??????. ? ??? ???? ???? ?? ??? ??? ??? ??? ?? ? ??? ?? ????? ?? ? ? ????. Kafka? GO? ???? ???? ??? ? ??? ????? ???? ???? ????? ??, ?? ? ??? ? ????.

???? ???? ?? GO? Kafka? ????? ???? ??? ??? ????.

1. ??? kafka ?????? ??????

GO ????? ?? ?? ???? Kafka ?????? Shopify/Sarama ???. SSL, SASL ?? ? ??? ??? ?? ??? ?? ???? ???? ???? ??? GO ????????.

?? Segmentio/Kafka-Go? ?? net ??? ?? ?? ? ? ???? ?? GO ?????? ?????. ?????? ???? ?? GO? context ???? ? ?????.

???? :

• ??? ??? ??? ?? Sarama? ????? ?? Kafka ??? ??? ?? ??? ???? ?? Sarama? ??????.
• ??? ??, ? ?? ???? ?? ? ? ?? ??? ???? ?? Kafka-Go? ??????.

2. Go?? Kafka ????? ??????

????? Kafka ??? ???? ?????. Kafka-go? ???? ?? ?? ??? ????.

 ??? ??

?? (??)
    "??"
    "???"

    "github.com/segmentio/kafka-go"
))

func main () {
    ?? : = & kafka.writer {
        addr : kafka.tcp ( "localhost : 9092"),
        ?? : "? ??",
        ??? : & kafka.leastbytes {},
    }

    err : = writer.writemessages (context.background (),
        kafka.message {
            ? : [] ??? ( "? -1"),
            ?? : [] ??? ( "Hello Kafka From Go!"),
        },
    ))
    err! = nil {? ??
        log.fatal ( "??? ?? ?? :", err)
    }

    Writer.close ()
}

?? ?? :

• ?? ?? ? ??? ???? context ??????.
• ??? ???? ??????. ???? ??? ???? ??? ? ??? ??????.
• ???? ?? ????? ?? ?? ? ??? ??????.

3. ??? ?? ??? Kafka ???? ??????

???? ???? ???? ????. Kafka-go? ???? ??? ???? ??? ????.

 ?? : = kafka.newreader (kafka.readerconfig {
    ??? : [] String { "LocalHost : 9092"},
    ?? : "? ??",
    GroupId : "My Group", //? ??? ?? ? ??? ??? ???????
    Minbytes : 10e3, // 10kb
    Maxbytes : 10E6, // 10MB
})

? ?? {
    msg, err : = reader.readmessage (context.background ())
    err! = nil {? ??
        log.fatal ( "?? ?? ??? :", err)
    }
    log.printf ( "?? : %s | ?? : %s | ??? : %d | ??? : %d",
        ??? (msg.value), msg.topic, msg.partition, msg.offset)
}

?? ?? :

• ?? ?? ?? ??? ?? ?? ??? ??? ??????.
• ????? ???? ????? (Kafka-Go? ?????? ?? ? ?????? ?????).
• ?? goroutines? ???? ???? ??? ????? ?? ?????????.

? : ??? ???? ??? :

 go func () {
    ? ?? {
        msg, _ : = reader.readmessage (context.background ())
        go func (m kafka.message) {
            // ???? ???
            log.println ( "Processing :", String (m.value))
        } (msg)
    }
} ()

4. ??? ? ??? ??? ?????

Kafka ???? ?? ??????. ??? ? ???? ?? ??? ?? ??? ??? ??????.

• JSON - ???? ?? ? ????
• Avro/Protobuf- ????? ??? ?? (??? ???? ? ????)

protobuf? ?? :

 data, _ : = proto.marshal (& myevent {userId : 123, Action : "Login"})
Writer.writemessages (ctx, kafka.message {value : data})

AVRO? ?? ??? ????? (? : ?? ??? ?????)? ???? ??? ? ???? ?????.

5. ???? ?? ???? ??????

???? ???? ?????????. ????:

• ?? ??? ?? ?? ? ? ??
• ?? ? ???? (? : Prometheus Grafana)
• ??? ??? ??? ?? ??? ??

? : ??? ??? ??????

 var err ??
i : = 0; I <3; ? {
    err = writer.writemessages (ctx, msg)
    err == nil {? ??
        ????
    }
    Time.sleep (time.duration (i 1) * time.second)
}
err! = nil {? ??
    log.fatal ( "??? ? ?? :", err)
}

??? ? ?? (? : zap ?? logrus )? ???? ??? ?? ? ??? ??????.

??

Kafka? GO? ???? ?? ??? ??? ???? ?????? ??? ?????. ???? ?? GO ??? ?? Kafka-Go? ????? ?? ?? ??? ?? Sarama? ??????. ???? ???? ?? ??? ?? ??, ??? ? ?? ???? ??? ???.

??? ??? ???? GO ???? ?? ???? ????? ???? ???? ??? ??, ?? ?? ? ???? ??? ??? ??????.

????? ???? ???? ??? ???? ????? ??????.

? ??? ???? ???? ?? Kafka? GO? ?????? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!