在本案中，你父亲对李某的孩子，即其继子女进行抚养，因此，其继子女对你父亲有赡养的义务。但是他们不但不履行赡养义务，反而将你父亲赶出家门，这是一种遗弃行为，根据继承法的规定，李某的子女丧失了对你父亲的继承权。 《继承法》第七条 继承人有下列行为之一的，丧失继承权： （三）遗弃被继承人的，或者虐待被继承人情节严重的； 同时，你父亲在生前留下遗嘱，将他的遗产留给了你，这是符合法律规定的，具有法律效力。因此，对你父亲的遗产首先按照遗嘱进行继承。如果有其他未处理的遗产，则再按法定继承。不管何种方式，李某的子女都没有权利依法继承你父亲的遗产。