Хмм. Похоже очень на дипломный проект, или скорее "магистерский".
По поводу зрения роботов ведутся многие дебаты и имеются немного инструментов.
1) сразу скажу что всю и вся никто не подскажет.
2) 640 x 480 для таких целей мб и сгодится, но на мой взгляд нереально.
3) для ориентации в пространстве нужно предварительно создать карту местности, или же иметь множество иных датчиков для выполнения этой задачи.
PS Boston dynamics такой проект разрабатывал на военные гранты