???? ??? ???? CNN(???? ???) ? GAN(??? ?? ???)? ?? ? ?? ??? ???? ???? ????? ???? ???? ???? ???????. ? ??? ??? ???? ???? ???? ???? ???? ???? ??? ???? ????? ????. ? ??? ????, ?????, ???? ? ??? ??? ??? ???? ??. ????? ?? ???? ?? ?? ???? ??? ??? ?? ? ?? ?? ? ??? ??? ?? ???? ???? ???? ? ??? ???.

??? ??

???? ??? ??? ??? ????? ?? ?? ??? ??? ?? ??? ? ?? ??? ?? ? ????.

1) ?? ?? ??

?? ?? ???? ?? ??? ??? ???? ????? ???? ?????. ?? ????? ???? ???? ????? ???? ???? ?????. ?? ????? ???? ???? ?? ?? ???? ???? ???? ?? ?? ?????. ???? ?? ?????? ??? ??, ??? ?? ? Lanczos ??? ?????. ??? ????? ?? ??? ??? ???? ?? ?? ?????? ???? ?? ??? ???? ???? ? ????. ??? ?? ????? ???? ??? ??? ??? ?? ? ??? ??? ?? ? ????. ??? ?? ?? ???? ??? ?? ??? ??? ??? ? ?? ??? ???? ??? ??? ??? ? ? ?? ?? ??? ????. ??? ?? ????? ????? ??? ??? ????? ??? ??? ????

2) ??? ?? ??

??? ?? ??? ?? ??? ???? ?? ??? ?????. . ? ?? ??? ????? CNN(???? ???) ?? GAN(??? ?? ???)? ?? ? ?? ??? ???? ???? ????? ???? ???? ?????. ??? ? ?? ??? ??? ??? ??? ??? ?? ?? ??? ???? ??? ??? ???? ???? ???? ??? ? ????.

CNN(Convolutional Neural Network)? ???? ???? ????? ???? ?????. ? ??? ????? ???? ???, ?? ???, ?? ?? ???? ??? ????? ???? ??? ?? ?? ??? ??????. CNN ???? ????? ???? ???? ?????. ??? ???? ???? ???? ?? ??? ???? ??? ???? ?? ??? ???? ???? ?????.

GAN(Generative Adversarial Network)? ? ??? ???? ????? ???? ? ?? ?????. ? ?? ??? ???? ????? ? ?? ? ?? ??? ?????. ??? ??? ???? ???? ???? ???? ???? ??? ??? ??? ???? ?? ???? ???? ??? ? ??? ???? ?????. ??? ??? ???? ?? ??? ???? ?? ???? ???? ????? ?????. ? ? ??? ????? ????? ?????? ??? ??? ? ?? ??? ???? ???? ??? ? ????.

??? ??

???? ??? ??? ???? ????? ?? ??? ?????.

1. ??? ?? ?? ? ??

???? ??? ???? ???? ?? ????? ???? ? ???? ??? ?? ?? ???? ???. ??? ??? ??? ???, ?? ??, ??? ?? ?? ???? ?????.

2. ?? ?? ? ??

??? ??? ???? ???? ?? ???? ??? ???? ?? ?????. ?? ?? ??? ??? ?? ?? ??? ??? ? ????. ??? ?? ???? ????? ? ? ??? ??? ? ? ?? ??? ?????. ?? ???? ??? ??? ???? ?? ?? ?? ??(MSE) ?? ?? ??(Perceptual Loss)? ?? ??? ?? ??? ???? ???.

3. ??? ??? ? ??

??? ??? ? ??? ????? ?? ??? ???? ????? ???. ??? ?????? ??? ????? ???? ?? ??? ???? ?? ??? ??? ? ????.

4. ??? ? ??

??? ??? ???? ??? ??? ????? ??? ???? ???? ?????. PSNR(Peak Signal-to-Noise Ratio), SSIM(Structural ??? ??), PI(Perceptual Quality Index) ? ??? ?? ??? ??? ? ????.

?? ??

??? TensorFlow? Keras? ???? ??? ??? ??? ?? ???? ??? ??? ????. ? ???? CNN ?? ??? ???? ???? ????? ???? ???? ?????.

1. ??? ?? ??

??? ???? ?? ??? ?? ??? DIV2K ??? ??? ?????. ??? ??? ? ? 800?? ????? ???? 100?? ??? ?? ?????? ?????. ??? ??? ??? ? ?? ???? ???? ?? ???? ?? ???? ???? 1/4? ??? ???.

2. ?? ?? ? ??

???? ??? ???? ?? CNN ?? ??? ???????. ???? ???? ???? ???? ???, ????? ???? ???? ?? ??? ???? ?? ???? ???? ?? ???? ???? ????. ????? ?? ??? ???? ???? ???? ?? ?? ????? ???? ???? ???? ???? ????.

??? ??? ?? ?????.

from tensorflow.keras.layers import Input, Conv2D, UpSampling2D
from tensorflow.keras.models import Model

def build_model():
    # 輸入層
    inputs = Input(shape=(None, None, 3))

    # 編碼器
    x = Conv2D(64, 3, activation='relu', padding='same')(inputs)
    x = Conv2D(64, 3, activation='relu', padding='same')(x)
    x = Conv2D(64, 3, activation='relu', padding='same')(x)
    x = Conv2D(64, 3, activation='relu', padding='same')(x)

    # 解碼器
    x = Conv2D(64, 3, activation='relu', padding='same')(x)
    x = Conv2D(64, 3, activation='relu', padding='same')(x)
    x = Conv2D(64, 3, activation='relu', padding='same')(x)
    x = Conv2D(64, 3, activation='relu', padding='same')(x)
    x = UpSampling2D()(x)
    x = Conv2D(3, 3, activation='sigmoid', padding='same')(x)

    # 構(gòu)建模型
    model = Model(inputs=inputs, outputs=x)

    return model

3. ??? ??? ? ??

?? ?? ??(MSE)? ?? ??? ???? Adam ??? ????? ???? ?????. ??. ?? ???? EarlyStopping ?? ??? ???? ???? ???? ??? h5 ??? ?????.

??? ??? ??? ? ?? ?????.

from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint
from tensorflow.keras.optimizers import Adam

# 構(gòu)建模型
model = build_model()

# 編譯模型
model.compile(optimizer=Adam(lr=1e-4), loss='mse')

# 設(shè)置回調(diào)函數(shù)
early_stopping = EarlyStopping(monitor='val_loss', patience=5)
model_checkpoint = ModelCheckpoint('model.h5', monitor='val_loss',
                                    save_best_only=True, save_weights_only=True)

# 訓(xùn)練模型
model.fit(train_X, train_Y, batch_size=16, epochs=100, validation_split=0.1,
          callbacks=[early_stopping, model_checkpoint])

4. ??? ? ??

??? ??? ???? ??? ??? ????? ?? ?? ??? ???? ?????. ??(PSNR) ? ??? ??? ??(SSIM)? ???? ??? ???? ???? ??? ?????.

??? ??? ? ?? ?????.

from skimage.metrics import peak_signal_noise_ratio, structural_similarity

# 加載模型
model.load_weights('model.h5')

# 測(cè)試模型
test_Y_pred = model.predict(test_X)

# 計(jì)算 PSNR 和 SSIM
psnr = peak_signal_noise_ratio(test_Y, test_Y_pred, data_range=1.0)
ssim =structural_similarity(test_Y, test_Y_pred, multichannel=True)

print('PSNR:', psnr)
print('SSIM:', ssim)

?? ??? ?? ??? ?? ???????? ? ?? ??? ?? ?? ? ??? ??? ? ? ??? ??? ??? ? ????.

? ??? ?? ???? ???? AI ?? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!