从此进入韬光隐晦的时期。
洪武十二年，元宵节，一些功臣子弟凑钱造了一艘大战，又邀许多朋友上船，在秦淮河上游逛逍遥，一向对官员管束极严且崇尚节俭的朱元璋闻讯大怒，当曰船上所有官员俱都受到严惩。而宋晟，恰恰是受邀上船的一个客人，于是被降职，贬到甘肃凉州，做了一个卫指挥。
于是，属于宋晟的西域、属于宋晟的传奇开始了。
当时的凉州，内忧外患，糟糕之极。西北和北面，北元武装时不时就来进攻，南面的吐蕃部落时叛时降，常来劫掠，有时候，北元余孽和吐蕃吐藩同时来进攻，四面受敌，兵灾过处，一片狼籍。而凉州内部呢？更是混乱不堪。
凉州当地有大量招降的蒙古部落，他们与汉民冲突不断，矛盾很深，常与北元暗中勾接，里应外合袭取凉州。宋晟到任前，凉州已经换了九任指挥使，其中四个战死沙场、三个撤职查办、两个死于士卒哗变。宋晟被贬到凉州时，所有的亲人、同僚都认定，他这一辈子算是完了。
可是宋晟接手这个烂摊子之后，交好凉州诸部、植树抵御风沙、挖掘水渠灌溉，明法律、严军纪，仅仅三年，监察御使史蒋星巡视凉州时，这里已是阡陌纵横良田万顷，各族百姓和睦相处，卫所官兵精悍英勇，凉州彻底变了样。
第四年，考验宋晟武功的时候到了。经过十余年的休养生息，明王朝决定解决西北边患，第一刀就砍在元朝西北重镇亦集乃路，这里的镇守者是北元“吴国公”把都刺赤，能征善战，被蒙古人尊称为“黑将军”。他派兵攻打凉州，宋晟避其锋芒，以三万精骑直捣腹心，硬是拔掉了亦集乃路，俘虏了“吴国公”把都刺赤以及两万多名蒙古士兵。
宋晟没有杀俘，这些蒙古士兵或者成了农民，或者被他吸收入伍，最终成了他笑傲西域的精锐部队“甘凉精骑”的一员。
此一战，宋晟被朱元璋官复原职，并提拔为右军都督，以封疆大吏的身份再返凉州，镇守大明西北门户。洪武二十四年，宋晟再次出手，这一次，他的目标是明朝打通西域丝绸之路的咽喉之地——哈密。哈密当时是元朝藩王兀纳什里的封地。
宋晟急行军上千里，抄小路穿过蒙古军外围重重防线，突然杀到哈密城下，此时本当战决，否则外围蒙军一旦回撤，他不但打不下哈密，还有全军覆没之险。而宋晟事先侦知兀纳什里内部诸将不和，大胆使用攻心战术，迫使城中守军内讧，蒙将自己绑了王子、王妃及数十位忠于兀纳什里的官员献城投降。宋晟兵不血刃，攻克哈密，堵塞明王朝西进道路十余年的哈密