x = Dense(784, activation='relu')(x) 
x = Dense(784, activation='relu')(x) # 跟前面的不共享權(quán)重
x = Dense(784, activation='relu')(x) # 跟前面的不共享權(quán)重

from keras.models import clone_model

model2 = clone_model(model1)

進(jìn)階

上述談到的是原封不等的調(diào)用原來(lái)的層或模型，所以比較簡(jiǎn)單，Keras 都準(zhǔn)備好了。下面介紹一些復(fù)雜一些的例子。 

交叉引用

這里的交叉引用是指在定義一個(gè)新層的時(shí)候，沿用已有的某個(gè)層的權(quán)重，注意這個(gè)自定義層可能跟舊層的功能完全不一樣，它們之間純粹是共享了某個(gè)權(quán)重而已。比如，Bert 在訓(xùn)練 MLM 的時(shí)候，最后預(yù)測(cè)字詞概率的全連接層，權(quán)重就是跟 Embedding 層共享的。 

參考寫法如下：

class EmbeddingDense(Layer):
    '''運(yùn)算跟Dense一致，只不過(guò)kernel用Embedding層的embedding矩陣
    '''
    def __init__(self, embedding_layer, activation='softmax', **kwargs):
        super(EmbeddingDense, self).__init__(**kwargs)
        self.kernel = K.transpose(embedding_layer.embeddings)
        self.activation = activation
        self.units = K.int_shape(self.kernel)[1]

    def build(self, input_shape):
        super(EmbeddingDense, self).build(input_shape)
        self.bias = self.add_weight(name='bias',
                                    shape=(self.units,),
                                    initializer='zeros')

    def call(self, inputs):
        outputs = K.dot(inputs, self.kernel)
        outputs = K.bias_add(outputs, self.bias)
        outputs = Activation(self.activation).call(outputs)
        return outputs

    def compute_output_shape(self, input_shape):
        return input_shape[:-1] + (self.units,)


# 用法
embedding_layer = Embedding(10000, 128)
x = embedding_layer(x) # 調(diào)用Embedding層
x = EmbeddingDense(embedding_layer)(x) # 調(diào)用EmbeddingDense層

提取中間層

有時(shí)候我們需要從搭建好的模型中提取中間層的特征，并且構(gòu)建一個(gè)新模型，在 Keras 中這同樣是很簡(jiǎn)單的操作：

從中間拆開(kāi)

最后，來(lái)到本文最有難度的地方了，我們要將模型從中間拆開(kāi)，搞懂之后也可以實(shí)現(xiàn)往已有模型插入或替換新層的操作。這個(gè)需求看上去比較奇葩，但是還別說(shuō)，stackoverflow 上面還有人提問(wèn)過(guò)，說(shuō)明這確實(shí)是有價(jià)值的。 

https:///questions/49492255/how-to-replace-or-insert-intermediate-layer-in-keras-model

假設(shè)我們有一個(gè)現(xiàn)成的模型，它可以分解為：

那可能我們需要將 h2 替換成一個(gè)新的輸入，然后接上后面的層，來(lái)構(gòu)建一個(gè)新模型，即新模型的功能是：

如果是 Sequential 類模型，那比較簡(jiǎn)單，直接把 model.layers 都遍歷一邊，就可以構(gòu)建新模型了：

x_in = Input(shape=(100,))
x = x_in

for layer in model.layers[2:]:
    x = layer(x)

model2 = Model(x_in, x)

但是，如果模型是比較復(fù)雜的結(jié)構(gòu)，比如殘差結(jié)構(gòu)這種不是一條路走到底的，就沒(méi)有這么簡(jiǎn)單了。事實(shí)上，這個(gè)需求本來(lái)沒(méi)什么難度，該寫的 Keras 本身已經(jīng)寫好了，只不過(guò)沒(méi)有提供現(xiàn)成的接口罷了。為什么這么說(shuō)，因?yàn)槲覀兺ㄟ^(guò) model(x) 這樣的代碼調(diào)用已有模型的時(shí)候，

實(shí)際上 Keras 就相當(dāng)于把這個(gè)已有的這個(gè) model 從頭到尾重新搭建了一遍，既然可以重建整個(gè)模型，那搭建“半個(gè)”模型原則上也是沒(méi)有任技術(shù)難度的，只不過(guò)沒(méi)有現(xiàn)成的接口。具體可以參考 Keras 源碼的 keras/engine/network.py 的 run_internal_graph 函數(shù)：

完整重建一個(gè)模型的邏輯在 run_internal_graph 函數(shù)里邊，并且可以看到它還不算簡(jiǎn)單，所以如無(wú)必要我們最好不要重寫這個(gè)代碼。但如果不重寫這個(gè)代碼，又想調(diào)用這個(gè)代碼，實(shí)現(xiàn)從中間層拆解模型的功能，唯一的辦法是“移花接木”了：通過(guò)修改已有模型的一些屬性，欺騙一下 run_internal_graph 函數(shù)，使得它以為模型的輸入層是中間層，而不是原始的輸入層。有了這個(gè)思想，再認(rèn)真讀讀 run_internal_graph 函數(shù)的代碼，就不難得到下述參考代碼：

用法：

from keras.applications.resnet50 import ResNet50
model = ResNet50(weights='imagenet')

x, y = get_outputs_of(
    model,
    model.get_layer('add_15').output
)

model2 = Model(x, y)

代碼有點(diǎn)長(zhǎng)，但其實(shí)邏輯很簡(jiǎn)單，真正核心的代碼只有三行：

也就是覆蓋模型的 model.inputs 和 model._input_layers 就可以實(shí)現(xiàn)欺騙模型從中間層開(kāi)始構(gòu)建的效果了，其余的多數(shù)是適配工作，不是技術(shù)上的，而 model._layers = layers 這一句是只保留了從中間層開(kāi)始所用到的層，只是為了統(tǒng)計(jì)模型參數(shù)量的準(zhǔn)確性，如果去掉這一部分，模型的參數(shù)量依然是原來(lái)整個(gè) model 那么多。

小結(jié)

Keras 是最讓人賞心悅目的深度學(xué)習(xí)框架，至少到目前為止，就模型代碼的可讀性而言，沒(méi)有之一。可能讀者會(huì)提到 PyTorch，誠(chéng)然 PyTorch 也有不少可取之處，但就可讀性而言，我認(rèn)為是比不上 Keras 的。

在深究 Keras 的過(guò)程中，我不僅驚嘆于 Keras 作者們的深厚而優(yōu)雅的編程功底，甚至感覺(jué)自己的編程技能也提高了不少。不錯(cuò)，我的很多 Python 編程技巧，都是從讀 Keras 源碼中學(xué)習(xí)到的。