张掖有着悠久的历史、灿烂的文化、优美的自然风光和独特的人文景观，自古就有塞上江南和金张掖之美誉，古人有诗曰不望祁连山顶雪，错把张掖当江南。市内有大佛寺、木塔寺、土塔寺、西来寺、马蹄寺、镇远楼、山西会馆、民勤会馆、黑水国遗址等名胜古迹。
1954年，考古学家安志敏在张掖市山丹县城南6公里发现距今约4000多年的四坝滩遗址，属新石器时代末期的马家窑文化类型并同时发现了近千年前创立张掖的先辈的青铜象，其背部可有篆体字：扬扬张掖。
1984年和1987年，在张掖“黑水国”遗址先后发现新石器时代的石斧、彩陶；1987年7月，甘肃省文物工作队在张掖市民乐县六坝乡东北3公里的东灰山遗址，发掘出土大量磨制石器、陶器、炭化粮食籽粒及猪、牛、羊、鹿的齿骨等考古资料，
由此证明，距今5000多年左右的新石器时代，张掖先民已在这里从事原始农业生产和畜牧业，能用石球、石纺轮纺织、做衣服，制造彩色陶器，并开始使用青铜器。
夏帝禹元年，张掖属《禹贡》雍州之域，西戎氏之故墟。禹封少子于西戎，世代为首领。
周穆王十三年，祭公率师随穆王西征，西戎归顺。[3] 汉代（前206－2）以前，月氏国称雄于敦煌祁连间，张掖为其属地。[4]
