根据《魏略》记载：徐庶字元直。少好任侠，为人报仇，白垩(乌各切。)突面，披发而走。为吏所得，乃感激弃其刀戟，更绢巾单衣，折节学问。
这段话说明徐庶是一个勇于担当之人，任侠讲义气，混江湖的。最后弃武从文，与诸葛亮，崔州平这样的文人成了好朋友。
刘备对徐庶的态度：器之。
器之就是很重视的意思。刘备遇到诸葛亮的态度是：孤之有孔明，犹鱼之有水也。
刘备的识人能力是一流的，从器之到鱼之有水，诸葛亮和徐庶之间的差距一见然之。
诸葛亮对徐庶的评价：惟徐元直处兹不惑。
从刘备和诸葛亮两个人的评价中可以看出徐元庶的水平是挺高的，但没有高到让他们仰视的程度。
如果徐元直的才华是顶尖的，到了曹魏这一边应该任高官，实际上徐元直连进入列传的资格都没有，只是散见在一些地方。某些观点说徐庶官至右中郎将、御史中丞。
我看到《水经注》记载城内有汉司徒袁安、魏中郎将徐庶等数碑。这里徐庶的官职是魏中郎将，与诸葛亮的丞相之位相差很远。
有人说因为徐庶不想为曹魏服务，所以官位不高。这种说法主要是受《三国演义》的影响。
徐庶离开刘备的原因很简单：
先主在樊闻之，率众南行，诸葛亮与友人徐庶并从，为曹公所追，获庶母。庶辞先主而指其心曰：”本欲与将军共图王霸之业者，以此方寸之地也。今失老母，方寸乱矣，无益於事，请於此别。”遂诣曹公。——《蜀志》
徐庶离开刘备的原因是老母在曹操手中，所以才离开刘备。这种情况在东汉末年是很常见的。
当年张邈与陈宫叛迎吕布，曹操手下很多人都离开曹操，曹操也认可这种行为。曹操对他的别驾毕湛说：你的亲人都在张邈那里，你可以过去。
这是东汉末年的最常见的事情，徐庶离开刘备，刘备也没有阻拦，而且也认为是很正常 ，不是背叛。
徐庶为什么没有再一次投奔刘备自然是因为老母在魏地，他就不好离开了。劝曹丕当皇帝的劝进表中有徐福的名字。徐庶本名福，姓单。既然留在魏地，怎么好再一次弃魏投靠刘备的。徐庶与刘备的关系没有亲密到刘备与关羽之间的关系，自然不会再次投归了。
比如黄权是刘璋的属下，后来归顺刘备，夷陵之战后无法北归投了曹魏，官至车骑将军，而他留在蜀汉的孩子黄崇在蜀汉任尚书郎，最终与诸葛瞻一起战死在抗魏的前线。父亲是魏国高官，儿子为了抗击魏国战死，这在后世怎么看都怪异，但在三国是很正常的。
清楚这些背景，自然就可以理解徐庶为什么没有再次回归了。