睿宗即位，授太子左庶子兼崇文馆学士，修史，进东海郡公，迁黄门侍郎。时 监察御史李知古兵击姚州渳河蛮，降之，又请筑城，使输赋徭。坚议：“蛮夷羁縻 以属，不宜与中国同法，恐劳师远伐，益不偿损。”不听，诏知古发剑南兵筑城堡， 列州县。知古因是欲诛其豪酋，入子女为奴婢，蛮惧，杀知古，相率溃叛，姚、巂 路闭不通者数年。

　　初，太平公主用事，武攸暨屡邀请坚，坚不许。又以妻岑羲女弟，固辞机密， 转太子詹事，曰：“吾非求高，逃祸耳。”羲败，不染于恶，出为绛州刺史。数外 徙，久乃迁秘书监、左散骑常侍。