不过这家伙也确实不是个安分的，在写给许多官员的赠序中，他都喜欢议论政事，尤其是关于边防的策略。当时张居正主持国政，对蒙古采取抚和的方针，徐渭对此表示赞赏。

期间又过居庸关赴塞外宣化府等地，闻戚继光所云至辽东寻李成梁，教授其子李如松兵法，结识蒙古领俺答的夫人三娘子。他在吴兑那里受到敬重，无奈身体不好，只得于次年春经北京回到家乡绍兴，注释郭璞《葬书》。

徐渭六十岁时，应张元忭之招去北京，但不久两人的关系就恶化了。据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐渭却生性放纵，不愿受传统礼法的束缚。

张元忭常常以封建礼教约制徐渭，这使徐渭大为恼火。他曾对张元忭说：“我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜！”

由于和老朋友的交恶，加上与官僚们交往受到不平等的对待，徐渭情绪郁愤，旧病复，便于居京三载后重归家乡。此后，徐渭就再没有离开过山阴。

据说在晚年乡居的日子里，徐渭越厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。常“忍饥月下独徘徊”，杜门谢客，据说有人来访，徐渭不愿见，便手推柴门大呼：“徐渭不在！”

其中除在张元忭去世时往张家吊唁外，几乎闭门不出，他一生不治产业，钱财随手散尽，此时只得靠卖字画度日。但手头稍为宽裕，便不肯再作。倒是一班门生和晚辈的朋友，或骗或抢，常常得到他的杰作。

徐渭特别嗜蟹，许多题画诗记载了朋友们用活蟹来换他画蟹的经过。最后几年，徐渭身患多种疾病，大约画也不能常作，生活更为贫苦。

《徐文长文集》中有《卖貂》、《卖磬》、《卖画》、《卖书》诸诗，显示出徐渭凄凉的晚境。