在南越国近百年的历史中，赵佗本人在位67年，年近百岁的时候去世，葬于南越国都城番禺。据相关史料记载，赵佗生前收藏了大量奇珍异宝，死后全部带入墓中，而且在生前还精心安排了后事，因此他的墓葬堪称是一大秘密。
他没有按照当时的习俗，把自己的陵墓修建得雄伟壮观，而是利用山的地形，偷偷地挖了一个洞窟，没有在地面上留下任何痕迹。为了避免被挖盗，他还修建了一个可疑的墓穴。就连他死后的葬礼也安排得十分周密，棺材车从四个门出来。至于埋葬地点，当时是高度机密的事情，几乎没有人知道他的墓在哪里。这让后人很难找到他的墓穴。
关于他的墓地，史书上各种记载多为推测，因此说法不一。明代《广东通志》说：“赵佗墓在县城东北八里”，也有说：“在玉山”；《南岳志》记载：“赵佗墓在鸡笼岗至广州一带的莲岗山中”；金代《广州记》说：“赵佗墓在城北，墓后有马鞍岗”；各个时期的地方志，有说在白云山上，有的写在越秀山下。众说纷纭，令人目不暇接。
由于赵佗墓考古价值极高，且其中蕴藏着巨量稀世珍宝，自东汉末年三国时期以来，两千多年来，无数人试图寻找赵佗墓。史书记载：“三国时期，东吴的统治者孙权曾派陆羽率领数千名士兵前往赵佗墓，希望找到巨额宝藏。他们在岭南凿山碎石，地底下挖了三尺，几乎把广州附近的丘陵和山岭都挖遍了，但最终一无所获。”
