漢武帝派兵滅南越國，番禺城受到破壞，南方的政治中心逐步轉移向交趾（今越南河內）。這個時期海外貿易有了一定的發展，其經營的重點似乎集中在日南（今越南順化）和交趾。但番禺作為一個對外貿易港仍然在發揮作用。

廣州港初步形成  秦朝海外的貿易興起

據《淮南子》卷十八載：秦之經略嶺南，有重要的政治目的，但也有著眼于“越之犀角、象齒、翡翠、珠璣”的成分在內。從這一則記載中可以看出，在秦之前，番禺已因犀角、象齒、翡翠、珠璣等珍物的集散揚名于全國了。而這些東西在后來都是海外輸入的商品，故可以推斷，在秦漢之前，嶺南與海外已有貿易接觸，廣州已有港市的萌芽。

（南越王博物館藏品象牙卮）

因海外貿易的興起，秦代的航海業和造船技術已十分發達。一九七四年十月，在廣州市文化局院內發掘出古代三個平行排列的造船臺，測定為秦初的產物。其中一號船臺滑道間距寬一點八米，長八十八米。據測算,可建造寬六至八米，長三十米，載重五十至六十噸的木船。在當時能造如此規模的船舶，說明番禺是一個造船基地，而且還擁有比較先進的造船技術。

（秦造船遺址）

漢朝海外貿易的壯大

漢朝，統一的封建王朝國力強盛，海外貿易在漢朝得到進一步的發展。公元前104年，番禺（今廣州）已經成為全國聞名的都會，是當時中國的19個大城市之一。《史記·貨殖列傳》記載：“番禺亦其一都會也，珠璣、犀、玳瑁、果布之湊。”當時嶺南雖然也出珠璣、犀、玳瑁，但產量并不大。

在廣州集散的這些珍品，大部分應該是來自海外的。“果布”是馬來語呼龍腦香“果布婆律”的音譯。《漢書：地理志》還作了這樣的補充：“處近海，多犀象、玳瑁、珠璣、銀、銅、果布之湊，中國往商賈者多取富焉。番禺，其一都會也。” 因此可以認為，在漢初，也就是南越國統治時期，廣州港市已經形成。

伴隨著貿易的壯大，對外政治影響力進一步擴大。《漢書·地理志》載：“自日南障塞，徐聞、合浦船行可五月,有都元國，又船行可四月，有邑盧沒國；又船行可二十余日，有諶離國，步行可十余日，有夫甘都盧國。自夫甘都盧國船行可二月余，有黃支國……黃支之南，有已程不國，漢之譯使自此還矣。”

這是我國早期史書對海外交通最明確也是較詳盡的記載。這里記的國家都是遠古時代的名稱，日前仍無絕對準確的考證。但多數學者認為黃支國就是現在印度東南部，已程不國即今斯里蘭卡。這是史書對官方海外貿易的記載，時間為漢武帝年代，從番禺附近的口岸出航。從側面反映出民間海外貿易較為發達，朝廷才會派出譯使萬里遠航。

外國政府經常派遣貿易使團到中國朝貢，而東南亞諸國來中國朝貢多是由水路至廣州登陸。《漢書·平帝傳》也曾記載：“元始二年，黃支國獻犀牛。”同書《王莽傳》也有：“黃支自三萬里貢生犀”之說，黃支國即印度東南部。廣州出土的文物中有西漢早期的犀角模型，則犀角自漢初輸入番禺，已無疑議。