Segformer : ???? ??? ???? ?? ?? ???

?? ?? ????? ?? ??? ?? ??? ???? ??? ???? ??? ??????. ? ??? ???? ?? ? ??? ?? ??? ???? ???? ??? ??? ?? ? Segformer? ?????. ??? ???? ????? ?? ?? ??? ????. ??? ??? ?? ?? ?? ? ??? ???? ? ??? ??? (?? ???? ??)? ???? ??? ??? ??? ??? ?????. ?? ?? ??, ?? ? ?? ??? ?? ?? ??? ?? ? ? ????. ???? ??? ???? ??? ?? ? ?? ??? ?? ?????.

?? ?? :

• Segformer? ???? ? ?? ?? ????? ??????.
• Segformer B2_Clothes? ?? ????? ??????.
• Segformer?? ??? ??????.
• Segformer? ?? ?? ????? ??????.

(? ??? ??? ?? ???? ?????.)

?? :

• ??
• Segformer? ??????
• Segformer ????
• Segformer ? ?? ??
• Segformer ??
• Segformer? ??
• ??? ??
• segformer b2_clothes ??
• ?? ?? ????
• ??
• ?? ?? ??

Segformer? ??????

Segformer? ??? ??? ?? ??? ???? ???? ????? ???? ??? ?? ?? ??? ??? ???? ???? ??? ??????. ??? ???? ??? ??? ??? ?????, ??????? ??? ??? ?? ? ??? ???? ? ??? ? ??? ?????. ??? ?? ??? ??? ?? ?? ??? ?????. ?? ??, ?? ?? ??????? ?? ??? ??? ??, ?? ? ??? ?? ??? ??????. Edge Segmentation? ?? ?? ?? ????? ??? ??? ???? ? ??? ???. ?? ????? ????? ?? ? ?? ? ??? ?????.

Segformer ????

Segformer? ??? ?? ??? ??? ??? ?????. ?? ??? ?? ???? ????? ???? ?? ???? (MLP) ??????. Transformer Encoder? ?? ????, ?? ??? ???? ? ?? ??? ?????. MLP ???? ?? ? ? ??? ?? ?????. ?? ?? ????? ?? ??? ???? ???? ???? ??? ??????.

?? ???? ??? ??? ????. ????? ?? ???? ??; ?? ??? ????? ???? ?? ?? ????; ? ?? ? ?????? ?? ?? MLP ???.

Segformer ? ?? ??

Segformer? ImageNet-restrained ????? ?? ?? ??? ?? ??? ??? ???? ?? ??? ????. ????? ?? ?? ??? ??? ??? ????? ?? ? ????. ?? ???? ??? ??? ?? ? ?? ?? ??? ?????.

Segformer ??

Segformer? ???? ??? ??? ?? ????? ?? ?? ? ??? ??? ? ????. ???? ???? ??? ???, ?? ?? ? ?? ??? ?????. ?? ??? ?? ?? ? ??? ?? ?? ?? ? ??? ??? ? API? ?? ????? ??? ??????. ????? ??? ? ? ??? ??? ????? Hugging Face? ??? ?? ??? ???? ?????.

Segformer? ??

• ??? ??, ??? ??.
• ??? ?? ???? ??? ??? ?? ???.
• ??? ??? ?? ? ??? ???.

??? ??

• ??? ??? : ?? ?? ??? ?? ???? ??? ?? ? ? ????. ???? ???? ??? ??? ?????.
• ???? ?? : ??? ???? ??? ???? ?? ? ?? ?? ???? ??????.
• ?? ?? : Segformer? ?? ???? ????? ??? ?? ? ?????? ???? ???????. API ? ? ??? ???????? ?? ? ? ????.
• ??? ?? ?? : ??? ??? ??? ???? ??? ? ? ????. ?? ?? (?? ??? ? ??? ??? ??) ? ?? ?? ??? ?????.

segformer b2_clothes ??

??? ?? ? ?? ???? ?? ATR ??? ???? ?? ? Segformer B2_Clothes?? ??? ?????.

 ! PIP ?? ??? ?? MATPLOTLIB TORCH
Transformers?? SegformerimageProcessor, AutomodElforsemanticsmentation? ?????
PIL ?? ?? ?????
?? ?? ??
matplotlib.pyplot? plt? ?????
Torch.nn? nn?? ?????

???? = segformerimageProcessor.from_pretraind ( "MattMdjaga/segformer_b2_clothes")
model = automodelforsemanticsgentation.from_pretrained ( "mattmdjaga/segformer_b2_clothes")

url = "https://plus.unsplash.com/premium_photo-1673210886161-bfcc40f54d1f?ixlib=rb-4.0.3 & ixid = mnwxmja3fdb8mhxzzwfyy2h8mxx8cgvyc29ujtiwc3rhbmrpbmd8zw58mhx8mhx8 & w = 1000 & q = 80 "
image = image.open (requests.get (url, stream = true) .raw)
?? = ???? (images = image, return_tensors = "pt")

?? = ?? (** ??)
logits = outputs.logits.cpu ()

Upsampled_Logits = nn.functional.interpolate (
   ??,
   size = image.size [::-1],
   ?? = "bilinear",
   align_corners = false,
))

pred_seg = upsampled_logits.argmax (dim = 1) [0]
plt.imshow (pred_seg) 

?? ?? ????

Segformer? ???? ?? ????? ????.

• ?? ?? : MRI ? CT ???? ?? ? ?? ??? ?????.
• ?? ?? : ?? ?? (???, ???, ???).
• ?? ?? : ?? ?? ?? ??????? ?? ??? ??.
• ?? ?? : ?? ? ?? (OCR)?? ??? ??.
• ?? ??? : ????? ??? ???? ?????.

??

Segformer? ??? ????? ??? ??? ???? ???? ???? ?????. ???? ?? ??? ?? ? ??? ?? ????? ??? ????? ??? ??? ????. ??? ?? ???? ??? ??? ??? ???? ??? ?? ?????.

?? ??? ?? :

• Segformer? ???? ???.
• ??? ?? ???? ???.
• ?? ??? ???.

?? ?? :

• ?? ?? : [?? ??? ??]
• ??? ?? : [??? ?? ??? ??]

?? ?? ??

Q1 : Segformer B2_Cloth? ??? ??????

A1 : ?? ? ?? ???.

Q2 : Segformer? ?? ??? ??? ??? ??

A2 : ??? ?? ???? ? ???? ?? ??.

Q3 : ?? ??? Segformer? ??? ?????

A3 : ??, ??? ? ?? ?? ??.

Q4 : Segformer B2_Cloth? ?? ?????? ?? ? ? ?????

A4 : ??? ?? ? ? ???? ??? ??? ?????? ???? ???????. API ? ? ??? ?????? ??????.

(?? : ??? ??? ??? ???? ??? ??? ?? ?????.)

? ??? ??? Segformer? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!