江南行台设置后，在不长的时间内几度移迁。《元史》记载：“至元十四年，始置江南行御史台于扬州，觅徙杭州，又徙江州。二十三年，迁于建康，以监临东南诸省，统造各道宪司，而总诸内台。”那里所谓“以监临东南诸省，统造各道宪司”，是总体而论。若加以阐发，行台移迁的背后都有政治上的因素可循。
元廷初设江南行台于扬州，次要考虑扬州是江淮行省的治所。关于江淮行省的沿革，《元史·天文志》语焉不详，只称至元“二十一年，自扬州迁江淮行省来治于杭，改曰江浙行省”。却是在“百官志”中笔录了重要的一笔：“至元十三年，初置江淮行省，治扬州。”再考《元史》本纪至元十三年十月条：“以淮东左副都元帅阿里为平章政事，河南等路宣慰使合剌合孙为中书右丞，兵部尚书王仪、吏部尚书兼临安府抚慰使杨镇、河南河北道提刑按察使迷里忽辛并参知政事。参知政事陈岩行中书省事于淮东。”那里说的“行中书省事 于淮东”，当即指江淮行省，而上述人员即江淮行省成立时的班子组合。根据职责，行台“弹劾行中书省、宣慰司及以下诸司仕宦奸邪非违，刷磨文案”。故江南行台设置在扬州。
至元二十一年蒲月，江南行御史台从扬州迁至杭州。那一年，江淮行省改曰江浙行省，省治也迁往杭州。江南行台应该是随迁。江浙行省的设立，在元代治理江南的政治规划中居于重要地位。元人阎复说：“惟两浙东南上游，襟江带湖，控扼海外诸番，贸迁有市舶之饶，岁进有苏湖之熟，榷货有酒盐之利，节造凡百余城，出纳以亿万计，实江南底子之地。盖两浙安则江南安，江南安则朝廷无南顾之忧。”杭州是南宋故都，政治上的影响力远大于扬州。从天文位置看，杭州地处江浙行省中部，能够有效地统治江浙进而掌握东南地域。江南行台迁往杭州，也应有那方面的考虑。
江南行台迁至杭州后不久，一度遭到废除的厄运。至元二十二年一月，由卢世荣掌握的中书省提出罢除行御史台、按察司改隶中台并总理各路钱谷事务，意在打压御史台机构。忽必烈命臣下共议。御史台奉旨议后上奏：“前奏旨，令臣等议罢行台及兼转运使事。世荣言按察司所任，皆长才举职之人，可兼钱谷，而廷臣皆认为不成。彼所取人，臣不敢行，惟言行台不成罢者，寡议皆然。”反映出宫廷内部的矛盾与斗争。忽必烈问：“世荣认为若何？”奏曰：“欲罢之耳。”忽必烈末于表达：“其依世荣言。”于是江南行台被罢废。但很快忽必烈意识到不该该裁撤江南行台。他欠好明说，有意问中书省臣：“行御史台何故罢之？”中书右丞相安童不附和卢世荣的定见，答道：“江南响马屡起，行御史台镇遏居多，臣认为不成罢。然与江浙行中书省并在杭州，地甚远僻，徙之江州，居江浙、湖南、江西三省之中为便。”帝从之。安童的答复很机智，回避了忽必烈批准罢行台的事实、保全了皇上颜面，也赐顾帮衬到卢世荣的定见。卢世荣得到忽必烈的重用，是有人选举他“能救钞法，增课额，上可裕国，下不损民”。
他要掌握江南财路，但又不想遭到江南行台的造约。安童所考虑的则是行台对江南不变所起的感化（镇遏响马）。他提出在江州（江西九江）恢复行台的定见，妥帖地处理了问题。其时与安童执统一观点的，还有武德将军、江南浙西道提刑按察使千奴，他曾上言：“行省专控江浙，在杭为宜。行台总镇江南，不宜偏在杭。且两大府并立，势逼则事窒，情公则威亵，盍移行台于要便之所。”卢世荣出于私家动机，提出罢除行台。安童、千奴等人主张保留行台，但他们并没有仅把行台视做弹劾诸司仕宦奸邪非违的机构，而是着眼于大形势下朝廷的安危。围绕行台立废迁徙的背后，是差别政治立场、看念的比赛。卢世荣执政的时间不长，至元二十二年（1285）四月，因遭监察御史弹劾，卢世荣被论功下狱，后被处死。蒲月，江南行御史台又从头迁回杭州。江南行台移至江州又从江州迁回杭州，明显地带有政治博弈的陈迹。