現(xiàn)上海海關(guān)大樓原址僅是江海北關(guān)的地址。
1846年（清道光二十六年），清政府在現(xiàn)址建成江海北關(guān)。江海北關(guān)是一幢典型的中國官衙式建筑，建筑平面呈凹字形，三進(jìn)樓房，正檐翹角，歇山頂，屋面上有一座小閣。大門為牌樓式，門楣上書“江海北關(guān)”4個字。據(jù)說，該字出于兩江總督怡良之手筆。
1853年小刀會起義時江海北關(guān)被毀。1857年（清咸豐七年），上海道臺吳健彰用銀6800兩，在原關(guān)署舊址上修建了一所古廟式關(guān)署。
1891年（清光緒十七年），因古廟式關(guān)署簡陋不堪，道臺聶緝椝和江海關(guān)稅務(wù)司稟準(zhǔn)大憲，撥款興建新關(guān)署，費2年時間，于1893年（光緒十九年）冬天竣工，建成一座西方教堂式關(guān)署大樓，外部建筑和內(nèi)部設(shè)備較考究，有轉(zhuǎn)欄、石獅、鐘樓、避雷針、暖氣和寬暢的報關(guān)大廳。
1925年，又因原教堂式關(guān)署狹窄，即由江海關(guān)監(jiān)督朱有濟(jì)呈奉財政部，由稅務(wù)司賴發(fā)洛上報總稅務(wù)司，經(jīng)核準(zhǔn)在關(guān)稅款項下?lián)芸?30萬兩白銀（相當(dāng)于330萬關(guān)兩），折除舊房，在原址重建新關(guān)署——既現(xiàn)在外灘的海關(guān)大樓。江海關(guān)大廈建筑設(shè)計單位為公和洋行，設(shè)計師威爾遜，英國新金記祥號建筑公司簽約承建。1925年12月15日奠基，于1927年12月19日正式落成。整個工程兩年完成，大樓為鋼筋混凝土框架結(jié)構(gòu)，工字鐵鋼骨水泥石面，正面外墻全部用花崗石壘砌，花崗石從蘇州一座山上開采，入口處為希臘多立克式門廊，尤其是門廊的4根多立克式柱子，做得極為地道。但立面裝飾大大減少和簡化了，頂部層層收進(jìn)的鐘塔更多地表現(xiàn)的是立方體的體積感和高聳感，流露出的藝術(shù)裝飾主義。大樓正門底層大廳開花板由8幅歷代帆船戰(zhàn)艦圖畫，系用彩色馬賽克拼成，是精湛的工藝美術(shù)品。在8幅圖畫天花板中間地上原安裝水晶燈噴水裝置，燈開時銀白色燈光折射到上面彩色油畫。上海海關(guān)大樓（解放前稱為“江海關(guān)大廈”）土地座落為：上海市中山東一路13號（漢口路外灘）土地面積合計10.005市畝，原面積為9.909漢畝（1漢畝=7260平方尺=1.15市畝），讓作公路1.039漢畝，剩下8.870漢畝內(nèi)包括江海關(guān)碼頭驗貨場。其中土地5.589漢畝（合為5.929市畝）于1875年10月20日購自Robert Mackenzie，土地價值27378.82關(guān)兩，另外4.320漢畝于外商貿(mào)易開始時由政府撥為新關(guān)基地，按當(dāng)時價格，約值21168.00關(guān)兩。