TensorFlow Lite 深度解析 | 中文教學視頻

alayavijnana 2018-06-06

展開全文

作者：TensorFlow 中國團隊，Google 工程師 Renmin Gu.

最新的中文技術分享視頻來了！本期來自 Google 的工程師 Renmin 為大家?guī)?TensorFlow Lite 的深度解析視頻，主要講述 TensorFlow Lite 模型文件格式，并可視化以幫助大家記憶理解，也包含 TensorFlow Lite 的具體加載運行過程，并給出關鍵的數(shù)據(jù)結(jié)構描述，同樣以可視化的形式呈現(xiàn)給大家。

首先，我們需要在臺式機上設計、訓練出目標模型，并將其轉(zhuǎn)化成 TensorFlow Lite 的格式。接著，此格式文件在 TensorFlow Lite 中會被內(nèi)置了 Neon 指令集的解析器加載到內(nèi)存，并執(zhí)行相應的計算。由于 TensorFlow Lite 對硬件加速接口良好的支持，開發(fā)者可以設計出性能更優(yōu)的 App 供用戶使用。

模型文件格式

Model 結(jié)構體：模型的主結(jié)構

table Model {
    version: uint;
    operator_codes: [OperatorCode];
    subgraphs: [SubGraph];

    description: string;
    buffers: [Buffer]
}

在上面的 Model 結(jié)構體定義中，operator_codes 定義了整個模型的所有算子，subgraphs 定義了所有的子圖。子圖當中，第一個元素是主圖。buffers 屬性則是數(shù)據(jù)存儲區(qū)域，主要存儲的是模型的權重信息。

SubGraph 結(jié)構體：Model 中最重要的部分

table SubGraph {
    tensors: [Tensor];
    inputs: [int];
    outputs: [int];
    operators: [Operator];

    name: string;
}

類似的，tensors 屬性定義了子圖的各個 Tensor，而 inputs 和 outputs 用索引的維護著子圖中 Tensor 與輸入輸出之間的對應關系。剩下的operators 定義了子圖當中的算子。

Tensor 結(jié)構體：包含維度、數(shù)據(jù)類型、Buffer 位置等信息

table Tensor {
    shape: [int];
    type: TensorType;
    buffer: uint;

    name: string;
}

buffer 以索引量的形式，給出了這個 Tensor 需要用到子圖的哪一個 buffer。

Operator 結(jié)構體：SubGraph 中最重要的結(jié)構體

Operator 結(jié)構體定義了子圖的結(jié)構：

table Operator {
    opcode_index: uint;
    inputs: [int];
    outputs: [int];

    ...
}

opcode_index 用索引方式指明該 Operator 對應了哪個算子。 inputs 和 outputs 則是 Tensor 的索引值，指明該 Operator 的輸入輸出信息。

解析器概況

那么 TensorFlow Lite 的解析器又是如何工作的呢？

一開始，終端設備會通過 mmap 以內(nèi)存映射的形式將模型文件載入客戶端內(nèi)存中，其中包含了所有的 Tensor，Operator 和 Buffer 等信息。出于數(shù)據(jù)使用的需要，TensorFlow Lite 會同時創(chuàng)建 Buffer 的只讀區(qū)域和分配可寫 Buffer 區(qū)域。

由于解析器中包含了集體執(zhí)行計算的代碼，這一部分被稱為 Kernel。模型中的各個 Tensor 會被加載為 TfLiteTensor 的格式并集中存放在 TfLiteContext 中。

每個 Tensor 的指針都指向了內(nèi)存中的只讀 Buffer 區(qū)域或是一開始新分配的可寫入 Buffer 區(qū)域。

模型中的 Operator 被重新加載為 TfLiteNode，它包含輸入輸出的 Tensor 索引值。這些 Node 對應的操作符存儲于 TfLiteRegistration 中，它包含了指向 Kernel 的函數(shù)指針。OpResolver 負責維護函數(shù)指針的對應關系。

TensorFlow Lite 加載模型的過程中會確定執(zhí)行 Node 的順序，然后依次執(zhí)行。

大家如果想要更好掌握 TensorFlow Lite 的技術細節(jié)，一定要閱讀以下文件：