Lần thứ hai, ông từ chối lời mời làm quan lớn của triều đình, vì cho rằng "kẻ có học phải giữ đạo"