Может быть я что-то делаю не так, но когда я подключаю такую библиотеку, проект не собирается пока я не подключу вторую.
 
То есть как я представляю, должно быть так: проект подтягивает библиотеку "A", она в свою очередь подтягивает библ. "Б"
А получается Проект тянет и А и Б, и ещё А тянет Б.

Хочу чтобы проект ничего не знал о Б... как-то так

А не тянет Б при линковке, если ты не укажешь Б в списке либ для твоего проекта

Возможен такой вариант: собрать Б статически и линковать ее с А. Тогда в конечном проекте  не будет зависимости от Б, а только от А.