|
在人工智能研究中，數(shù)學(xué)空間的術(shù)語可能會讓人望而生畏。幸運的是，要理解這些概念并不總是掌握核心AI思想的關(guān)鍵。然而，當讀者無法完全理解研究人員的意圖時，可能仍會感到不滿。本文將首先解釋一些關(guān)鍵術(shù)語，然后探討在機器學(xué)習(xí)（ML）中最相關(guān)的數(shù)學(xué)空間。數(shù)學(xué)空間的領(lǐng)域非常廣闊，但本文旨在在機器學(xué)習(xí)的背景下提供基礎(chǔ)理解，同時也為那些有興趣深入研究該主題的人提供參考。 數(shù)學(xué)空間表現(xiàn)出一種類似于面向?qū)ο笤O(shè)計的層次結(jié)構(gòu)。在這個層次結(jié)構(gòu)的頂端，是最抽象的空間，如拓撲空間，它們確立了連續(xù)性和收斂性等基本概念。隨著我們在層次結(jié)構(gòu)中向下移動，空間變得更加專門化，獲得了額外的結(jié)構(gòu)和屬性，以便適應(yīng)特定的應(yīng)用。 域（Fieds）讓我們從討論“域”這一種數(shù)學(xué)空間開始。實數(shù)和復(fù)數(shù)都構(gòu)成了域。盡管這一概念基本，但它提供了一個快速的概述，并引入了一些相關(guān)的術(shù)語。 一個域?F, +, ·?由一個集合F構(gòu)成，該集合配備了兩個二元運算（即通過兩個元素產(chǎn)生第三個元素的運算）：
實數(shù)集合?構(gòu)成了一個域，其中包含所有實數(shù)。對實數(shù)定義的加法（+）和乘法（·）以通常的方式進行。然而，為了符合“域”的要求，這些運算必須遵守以下公理（基本規(guī)則）： 對于所有a, b, c ∈ F： 1.在加法和乘法下封閉：a + b ∈ F, a · b ∈ F。 2.加法和乘法的結(jié)合性：(a + b) + c = a + (b + c)，(a · b) · c = a · (b · c)。 3.加法和乘法的交換性：a + b = b + a， a · b = b · a。 4.存在加法和乘法的單位元：
5.存在加法和乘法的逆元：
6.乘法對加法的分配律：a · (b + c) = (a · b) + (a · c) 一個域在加法和乘法下是封閉的。這意味著在域內(nèi)進行這些運算總會產(chǎn)生一個仍在同一域內(nèi)的元素。 在量子力學(xué)中，復(fù)數(shù)域?（由復(fù)數(shù)組成）對于描述量子現(xiàn)象至關(guān)重要。有理數(shù)構(gòu)成了有理數(shù)域?，而整數(shù)不構(gòu)成域。這是因為大多數(shù)整數(shù)（除1以外）沒有乘法逆元，違反了域公理中要求所有非零元素都存在乘法逆元的條件。 有序域 有序域是配備有序關(guān)系（≤）的域。有理數(shù)（?）和實數(shù)（?）是有序域的例子。 空間在數(shù)學(xué)中，空間的概念雖然抽象，但卻極具力量。它始于一個集合——通常稱為點或元素的對象的集合。但僅僅是一個集合并沒有太大意義。當我們?yōu)榧咸砑硬煌慕Y(jié)構(gòu)時，奇妙之處就發(fā)生了，這賦予了點意義和聯(lián)系。這種通過各種結(jié)構(gòu)增強集合的過程催生了各種各樣的數(shù)學(xué)空間，每個空間都擁有其獨特的屬性和實際應(yīng)用。 空間是一個可以賦予結(jié)構(gòu)的集合：
度量空間 度量空間是賦予了稱為度量的距離函數(shù)的空間，通常是理解數(shù)學(xué)空間的第一步?？臻g的定義通常以括號? ?或圓括號 ( ) 表示，以指定集合的名稱和應(yīng)用于其的特定結(jié)構(gòu)。
M代表度量空間的基礎(chǔ)集合，它可以由數(shù)字、函數(shù)、序列或其他數(shù)學(xué)對象組成。在上下文明確的情況下，我們也可以將整個度量空間稱為 M。度量d是一個函數(shù)，它為每對元素分配一個非負實數(shù)，從而引入了它們之間“距離”的概念。這種結(jié)構(gòu)允許對距離進行分析，并且還可以討論收斂性和連續(xù)性。
常見的度量包括曼哈頓距離（L1）和歐幾里得（L2）距離。
然而，度量函數(shù)必須滿足以下條件，對于所有 M 中的 x、y 和 z：
當我們設(shè) = 時，它們得出( , )是非負的結(jié)論。 因此，這三個性質(zhì)等價于以下性質(zhì)。
度量的廣義定義允許廣泛的適用性和對基本概念的一致操作。例如，在生成式AI中用于更高效訓(xùn)練的Wasserstein損失滿足度量函數(shù)的標準。這使得我們可以將度量空間的性質(zhì)應(yīng)用于概率分布，而無需創(chuàng)建新的數(shù)學(xué)框架。 序列序列為研究收斂和極限等概念提供了基礎(chǔ)工具。在抽象的數(shù)學(xué)空間中，將序列簡單地視為一個有序的數(shù)字列表顯得過于局限。我們需要重新建立這個概念，以適應(yīng)其他數(shù)學(xué)對象（如函數(shù)），同時保留有序進程的核心思想。 讓我們在度量空間的背景下探討收斂性和極限的概念。
在空間 X 中的序列是指
X 是一個數(shù)學(xué)空間。 度量空間中的收斂性和極限 在度量空間的背景下，如果序列的各項隨著序列的無限進行而接近一個特定的極限，那么該序列被稱為收斂的。更正式地說，如果度量空間 中的一個序列收斂到一個極限 ∈，那么對于每一個正數(shù) ?（無論多?。?，都存在一個自然數(shù) N，使得對所有 ≥，序列的項與 L 之間的距離小于 ?。這可以用數(shù)學(xué)形式表示為：
一個度量空間中的序列如果接近于屬于空間 X 的特定極限，那么這個序列將有一個極限 L∈X。
然而，這種方法依賴于事先知道極限，但這并不總是可能的。為了解決這個問題，數(shù)學(xué)家們發(fā)展了柯西序列的概念。 柯西序列 柯西序列被定義為一個序列，其中的元素隨著序列的進展變得任意接近。為了使一個序列成為柯西序列，對于任意給定的正距離 ?，存在一個序列中的點，從該點開始，任何兩個元素之間的距離總是小于 ?。
定義：對于每一個正實數(shù) ?（無論多?。嬖谝粋€值 N（一個自然數(shù)，1, 2, 3, …），使得 , ≥ ，并且
示例 讓我們考察一個在?中的序列：3，3.1，3.14，3.141, …。這個序列逐次增加一位小數(shù)來逼近 π。在這個例子中，我們使用通常的度量 (,)=∣?∣。對于 <，m 項與 n 項之間的差距逐漸變小于：
因此，對于任意正數(shù) ε，存在一個 N，使得對于所有大于 N 的 m 和 n，m 項與 n 項之間的差距小于 ε。 完備性 一個收斂的序列總是一個柯西序列。然而，并不是所有的柯西序列都是收斂的。舉例來說，一個完全由有理數(shù)集合 ? 構(gòu)成的柯西序列。這個序列中的每一項都是一個有理數(shù)。
如果這個序列有一個極限 x，那么
然而，沒有任何有理數(shù)可以滿足這個條件。這個序列在有理數(shù)空間中沒有極限，這意味著它并不收斂。為了使序列完備，我們可以將空間擴展到包含R。
如果一個度量空間中的每個柯西序列都收斂到空間內(nèi)的一個極限，那么這個度量空間被稱為完備的，確保沒有序列在收斂過程中“逃逸”出空間。 在處理不完備的度量空間時會遇到挑戰(zhàn)。我們可能會使用迭代方法或數(shù)值方法構(gòu)造一個近似解的序列。隨著序列的進展，近似解越來越接近，形成度量空間中的柯西序列。理想情況下，我們希望這些近似解收斂到一個極限，并證明這個極限確實是一個解。然而，這種方法只有在底層度量空間是完備的情況下才有保證可行。否則，我們可能需要擴展這個空間。 定義域與值域 函數(shù)的定義域是指所有可能的輸入值的集合，即函數(shù)在這些輸入值上有定義。本質(zhì)上，它告訴你可以輸入到函數(shù)中的內(nèi)容。另一方面，函數(shù)的值域指的是函數(shù)在其定義域的每個元素上作用后所能產(chǎn)生的所有輸出值的集合。 連續(xù)性 極限和連續(xù)性是微分計算中的基礎(chǔ)構(gòu)件。柯西序列提供了一種在更廣泛的度量空間背景下定義和分析極限的方法。讓我們討論度量空間之間函數(shù)的連續(xù)性概念。 如果從一個度量空間 X 到另一個度量空間 Y 的函數(shù) f 在 X 中的一個點x_0處是連續(xù)的，那么對于每個 ?>0，都存在一個 δ>0，使得對所有 X 中的 x，如果它們與x_0的距離滿足
這個定義確保了在x_0附近的輸入的微小變化會導(dǎo)致 f(x_0) 附近的輸出產(chǎn)生微小變化。 在深度學(xué)習(xí)中，連續(xù)性對于確保模型輸出隨著輸入的變化而平滑變化至關(guān)重要，這有助于模型的穩(wěn)定訓(xùn)練。它允許使用基于梯度的優(yōu)化技術(shù)，例如反向傳播，這對有效訓(xùn)練神經(jīng)網(wǎng)絡(luò)至關(guān)重要。連續(xù)性還有助于模型的泛化，防止預(yù)測的突然變化，從而使模型更可靠、更易解釋。 可數(shù)性 處理無限可能性是一個挑戰(zhàn)。在數(shù)學(xué)空間中，可數(shù)性主要旨在確保結(jié)構(gòu)的可管理性和良好行為。可數(shù)性條件有助于簡化分析和拓撲學(xué)，例如存在可數(shù)基和能夠用有限集逼近元素。 一個集合如果可以與自然數(shù)（1, 2, 3, …）建立一一對應(yīng)關(guān)系，則被認為是可數(shù)的。這意味著你可以按順序列出該集合的元素。正式地說，一個集合是可數(shù)的，如果存在一個注入函數(shù) f : F → N（自然數(shù)），使得 F 中的每個元素都可以映射到N中的一個唯一元素。
然而，這些集合可以包含無限多個元素，只要它們?nèi)匀豢梢皂樞蛄谐?，比如偶?shù)集、整數(shù)集或有理數(shù)集。相比之下，0 到 1 之間的實數(shù)集是不可數(shù)的。這樣的集合比自然數(shù)集要大，無法與其建立一一對應(yīng)關(guān)系。 稠密性 設(shè)?, ?是一個度量空間。如果集合 ? 在 中是稠密的，則對于 中的每個元素 ∈，都存在一個元素 ∈，使得 d(x, y) < ? 對于每個 >0 成立。非正式地說，這意味著對于 之外的任何元素，我們都可以在 中找到一個與其任意接近的元素。在 ? 中一個稠密子集的例子是有理數(shù)集 ?。為說明這一點，考慮一個實數(shù)的小數(shù)展開：
雖然序列中的每一個元素都是有理數(shù)，但序列本身收斂到一個實數(shù)。這表明，任何實數(shù)都可以被有理數(shù)任意逼近。
可分性 按定義，如果度量空間 X 存在一個可數(shù)集 Y ? X，使得 Y 的閉包（X 中所有在 Y 中或與 Y 中點任意接近的點的集合）是 X，那么這個度量空間稱為可分的。
直觀上，如果一個空間是可分的，那么 X 的每個點都可以通過可數(shù)稠密子集 Y 的點任意逼近。這意味著在 Y 上證明的性質(zhì)通?？梢酝ㄟ^這種逼近擴展到整個空間 X?？煞中越?jīng)常是某些重要定理成立的必要條件。這一性質(zhì)可以簡化分析，并對整個空間產(chǎn)生更強的影響。 雖然將可數(shù)稠密子集直接應(yīng)用于復(fù)雜的深度學(xué)習(xí)模型可能具有挑戰(zhàn)性，但它們的存在簡化了對各種技術(shù)的論證和分析，例如降維、核設(shè)計、逼近和數(shù)據(jù)表示。 同構(gòu) 同構(gòu)是指在兩個結(jié)構(gòu)之間保持結(jié)構(gòu)特性的一種映射，它既是單射的，又可以通過逆映射進行還原。單射映射（或一對一映射）確保不同的元素被映射到不同的元素上。
滿射映射確保目標集 G 中的每個元素至少由定義域集F中的一個元素映射到。
如果一個映射既是單射的（一對一的），又是滿射的（覆蓋的），那么它被分類為雙射。這意味著定義域的每個元素都映射到值域中的一個元素，并且值域中的每個元素都是由定義域中的一個元素映射來的，從而在定義域和值域的所有元素之間建立了完美的一一對應(yīng)關(guān)系。 同構(gòu)雖然在深度學(xué)習(xí)算法的實現(xiàn)中并不直接可見，但在底層數(shù)學(xué)框架中起著至關(guān)重要的作用。它們確保了不同數(shù)學(xué)空間之間的基本結(jié)構(gòu)關(guān)系的保留，這對于理解神經(jīng)網(wǎng)絡(luò)中數(shù)據(jù)變換如何影響固有信息至關(guān)重要。例如，神經(jīng)網(wǎng)絡(luò)中的線性變換旨在保持數(shù)據(jù)點之間的關(guān)系。同構(gòu)在表示學(xué)習(xí)中尤為重要，表示學(xué)習(xí)的目標是捕捉有意義的模式，同時丟棄無關(guān)的細節(jié)。然而，像 ReLU 這樣的非線性函數(shù)雖然對于學(xué)習(xí)復(fù)雜模式至關(guān)重要，但由于其不可逆性，可能導(dǎo)致一些信息的丟失。 保留性 保留性意味著運算的保留。在域的情況下，它保留了加法和標量乘法。具體來說：
設(shè)是從F到G 的一個映射。如果在域的上下文中遵守所有上述規(guī)則，則該映射是同構(gòu)的。 兩個度量空間之間的等距同構(gòu)（isometry）是一個保持距離的函數(shù)。具體來說，如果 (,)和 (,)是兩個度量空間，那么函數(shù) :→被稱為等距同構(gòu)，當且僅當對于所有 ，′∈，滿足以下條件：
這意味著在X中任意兩點之間的距離與它們在Y中的像之間的距離是相同的，且依據(jù)各自的度量來衡量。 度量空間中的開集與閉集開集和閉集是數(shù)學(xué)空間的基本構(gòu)件，為發(fā)展更復(fù)雜的拓撲概念提供了必要的框架。例如，它們在定義收斂性和連續(xù)性時是至關(guān)重要的。 開集是指不包含其邊界的集合，而閉集包含其所有的邊界點。為了便于可視化和理解，我們將首先在更熟悉的度量空間框架內(nèi)探討開集和閉集。 讓我們考察一個子集 A ? X，以及一個元素 x ∈ A。
我們可以構(gòu)造一個以 x為中心、半徑小于?的開球B。這個球B 包含所有以下元素：
本質(zhì)上，B 包括 x 及其在半徑 ? 內(nèi)的鄰居。直觀上，這些 x 的鄰居可能都位于 A 內(nèi)，或者其中一些可能超出了 A。 開集與邊界點 如果對于 A 中的每個元素 x，都存在一個足夠小的半徑 ?，使得以 x 為中心且半徑為 ? 的開球 B 的所有元素都完全包含在 A 中，那么 A 被認為是開集。
A 的邊界點是 X 中的一個點，使得以該點為中心的每個開球都包含 A 中的元素以及 A 的補集（即 X 中不在 A 內(nèi)的點）中的元素。
邊界點 x 正式定義如下：
其中 A? 是 A 的補集。A 的所有邊界點的集合記作 δA。
開集不包含其任何邊界點。
即，
閉集與閉包 閉集的定義很簡單：它的補集是開集。
i.e.
從另一個角度看，閉集包含所有的邊界點。
集合 A 的閉包是通過將 A 與其邊界點結(jié)合起來形成的。在實數(shù)集 ? 中，有理數(shù)集 ? 的閉包是整個實數(shù)集 ?。
如果 A 的閉包與 A 本身相同，那么 A 就是一個閉集。
空集 ? 和整個集合 X 被認為既是開集又是閉集。 示例 考慮實數(shù)線上 ? 的開區(qū)間 = (3, 6)。
A 是一個開集。對于 A 中的任意 x，我們可以確定以 x 為中心的開球，使得這些開球中的所有元素都包含在 A 內(nèi)。例如，我們可以選擇 ε 為從 x 到 A 最近的邊界點的一半距離。
讓我們探討一個更具挑戰(zhàn)性的示例，考慮包含在 X 中的子集 A 和 C。A 和 C 是開集還是閉集？
元素“0”和大于“3”的元素不是 A 的邊界點，因為它們本身不屬于集合 X。元素“3”也不是 A 的邊界點。以“3”為中心的任何開球都不包含既在 外又在 內(nèi)的元素。 這個例子突顯了一個關(guān)鍵點：確定一個集合是開集還是閉集需要考慮集合 A 的定義以及底層空間 X 的定義，兩者共同決定了集合的邊界點。在這種情況下，定義導(dǎo)致 A 的邊界點集合為空，從而得出 A 既是閉集又是開集。因此，重要的是要注意，開集和閉集并不總是互斥的類別。事實上，一個既是開集又是閉集的集合被稱為閉開集（clopen set）。 對于子集 C，元素 2 是一個邊界點。C 的閉包等于 C 本身，這表明 C 是一個閉集。
連續(xù)函數(shù) 拓撲學(xué)中的許多概念可以使用開集或閉集來定義?？紤]兩個度量空間 和 以及映射函數(shù) :→。非正式地說，如果對于 中圍繞 f(a) 的每個開球，在 中都存在一個圍繞a的對應(yīng)開球，使得在f 映射下該開球的像包含在圍繞f(a)的開球內(nèi)，那么函數(shù)f在點 ∈處是連續(xù)的。
正式地說，函數(shù) f 在點a 處是連續(xù)的，如果對于每個 ?>0，存在一個δ >0 使得
這意味著以a為中心、半徑為 δ的開球的像包含在以 f(a)為中心、半徑為?的開球內(nèi)，從而確保在 a 附近定義域的微小變化會導(dǎo)致 f(a)附近像的微小變化。 如果函數(shù) f 在其整個定義域 A 上都是連續(xù)的，那么它在 A 中的每一點上都是連續(xù)的。然而，在下面的例子中，f 在點a處不是連續(xù)的。
序列連續(xù)性 如果對于任意收斂到x~的序列(x_n)，序列T(x_n)收斂到 T(x~)，則函數(shù) T 在點 x~∈X 處是序列連續(xù)的。 在度量空間中，連續(xù)性和序列連續(xù)性是等價的。 緊致性 在處理包含無限維元素（如函數(shù)或無限序列）的空間時，有限性的概念可能會變得棘手。緊致性將“閉合且有界”的集合概念從歐幾里得空間推廣到這樣的空間。（在歐幾里得空間中，如果一個集合包含其所有極限點，則該集合是閉集的；如果它可以包含在有限半徑的球體內(nèi)，則它是有界的。）即使一個集合包含無限維元素，緊致性賦予它某種“有限性”屬性。 緊致性在數(shù)學(xué)的許多領(lǐng)域中是一個關(guān)鍵概念，原因有幾方面。首先，它通常通過將無限情境簡化為有限情境，使得復(fù)雜問題更易處理。其次，它確保緊致集上的連續(xù)函數(shù)總是有最大值和最小值，這是極值定理中的一個關(guān)鍵思想。最后，緊致空間中的每個序列都擁有一個收斂的子序列。這一性質(zhì)在分析中非常重要，因為它保證了在廣泛的情境下極限的存在。 一個拓撲空間X被稱為緊致的，如果X的每個開覆蓋都有一個有限子覆蓋。讓我們定義開覆蓋和有限子覆蓋。
有限子覆蓋是從初始開覆蓋中選出的較小的開集集合，這些開集仍然覆蓋整個集合。緊致性是一種拓撲性質(zhì)，確保對于任何集合的開覆蓋，總是存在一個有限子覆蓋。換句話說，無論你如何嘗試用開集覆蓋一個緊致空間，你總是可以找到一個有限數(shù)量的開集來完成這項工作?；仡櫰饋?，問題可以通過使用有限數(shù)量的開集在局部進行分析，然后將結(jié)果匯總。 拓撲空間 拓撲空間是一種非常普遍的數(shù)學(xué)空間類型，它為定義收斂性、連續(xù)性和緊致性等概念提供了框架。它正式定義了集合內(nèi)點周圍的鄰域概念，作為更高級數(shù)學(xué)理論的基礎(chǔ)。它建立了基本但必要的結(jié)構(gòu)，這些結(jié)構(gòu)本身具有有限的實際用途。通常，需要額外的結(jié)構(gòu)和改進來使空間適合實際應(yīng)用。 與依賴于距離函數(shù)來定義接近性的度量空間不同，拓撲空間建立在開集的概念之上。這意味著拓撲空間不具有點與點之間的距離概念，提供的框架比度量空間更少結(jié)構(gòu)性。相反，它們更關(guān)注鄰近點的概念。 拓撲空間由兩個主要組成部分構(gòu)成：
開集必須滿足以下公理：
對于給定的集合 ={1,2,3,4}，X上的拓撲可以從最簡單到最復(fù)雜，取決于作為開集包含的子集的數(shù)量。任何集合上最簡單的拓撲是平凡拓撲。對于集合X，這種拓撲只包括最少量的子集：
任何集合上最復(fù)雜的拓撲是離散拓撲，其中X的每個可能的子集都被視為開集：
許多實際問題涉及的空間中只有某些類型的子集對于分析才是相關(guān)或有意義的。中間拓撲在過于簡單（平凡拓撲）和過于細粒度（離散拓撲）之間找到平衡，使它們特別適合于在理論和應(yīng)用數(shù)學(xué)中進行詳細但可管理的分析。
給定一個拓撲空間 X 和 X 中的一個點 p，p 的一個鄰域是 X 的一個子集 V，它包含一個開集 U，使得
每個開集都是其每個點的一個鄰域。（注意 V 本身不需要是開集。） 在定義了鄰域之后，拓撲空間中的收斂性、連續(xù)性和緊致性的定義如下：
拓撲同構(gòu) 拓撲學(xué)關(guān)注鄰域的概念。雖然度量空間包括距離的概念，但拓撲空間更加一般和抽象，因此不包含距離概念。在拓撲學(xué)中，茶杯和甜甜圈被認為是同胚的，意味著它們在拓撲上是等價的。這兩種形狀可以在不切割或粘合的情況下連續(xù)地變形為彼此。我們可以逐漸將茶杯變形，將其把手加寬，形成甜甜圈的環(huán)形。盡管這種變形改變了點之間的距離，但它保留了拓撲關(guān)注的基本鄰近關(guān)系。然而，茶杯無法變形為碗，因為這需要打孔并破壞已建立的鄰近關(guān)系。
拓撲同構(gòu)，也稱為同胚，是兩個拓撲空間之間保持拓撲結(jié)構(gòu)的連續(xù)函數(shù)。它是一個雙射，意味著它既是一對一的（單射），又是覆蓋的（滿射），而且函數(shù)及其逆函數(shù)都是連續(xù)的。如果存在這樣的函數(shù)，這兩個空間被稱為同胚或拓撲等價。 同胚的概念在拓撲學(xué)中是基礎(chǔ)性的，因為它允許數(shù)學(xué)家根據(jù)空間的內(nèi)在拓撲性質(zhì)而非其具體幾何形狀來分類和研究空間。這種抽象有助于理解和解決數(shù)學(xué)和科學(xué)中各個領(lǐng)域的復(fù)雜問題。 開集基 在拓撲學(xué)中，開集對于理解拓撲空間的結(jié)構(gòu)至關(guān)重要。然而，明確地定義所有開集可能是繁瑣的?；母拍钐峁┝艘粋€解決方案。拓撲空間的基是一個具有特殊性質(zhì)的較小的開集集合：拓撲中的每個開集都可以通過基中的集合的并集來形成。本質(zhì)上，基充當了一組構(gòu)建塊，可以用來構(gòu)造空間中的所有其他開集。拓撲的基是一個開集集合，可以用來生成空間中的所有其他開集。
示例：實數(shù)線 ? 上的標準拓撲 實數(shù)線 ? 上的標準拓撲是由實數(shù)線上所有開區(qū)間生成的拓撲。它是由所有開區(qū)間 (a, b) 生成的基，其中 a<b 且 ,∈?。這意味著這個拓撲中的任何開集都可以通過（可能是無限多個）開區(qū)間的并集來形成。 |
|
|
來自： 老胡說科學(xué) > 《待分類》
