Что-нибудь еще может лезть в этот каталог? Как вариант:
1. При первом запуске прога создает базу файлов.
2. При работе производится обновление базы, т.е. вставили физически файл, вставили его и в базу.
3. При закрытии база сохраняется.
4. При последующем открытии открывается база.
Если делать так, то даже без потоков тормозов не будет. Но если кто-нибудь еще может в этот каталог лезть.... Хотя, можно делать контрольные проверки, т.е. раз в день обновлять базу, пошуршав по каталогу.