太祖镇淮阴，伯玉归身结事，为太祖冠军刑狱参军。太祖为明帝所疑，及征为黄门郎，深怀忧虑。伯玉劝太祖遣数十骑入虏界，安置标榜，于是虏游骑数百履行界上，太祖以闻，犹惧不得留，令伯玉卜，伯玉断卦不成行，而明帝诏果复太祖本任，由是见亲待。从太祖还都，除奉朝请。令伯玉看宅，知家事。世祖罢广兴还，立别宅，遣人于大宅掘树数株，伯玉不与，驰以闻。太祖曰：“卿执之是也。”转太祖平南府，晋熙王府参军。太祖为南兖州，伯玉转为上镇军中兵参军，带广陵令。除羽林监，不拜。