... Но через клиента может подключится не один юзер а несколько ...
Одновременно или по очереди?
Если по очереди, то при процедуре logout локальная база должна быть почищена.
А при процедуре login локальная база должна быть синхронизирована с сервером и/или другими клиентами и/или бекапом.
Синхронизацию можно делать не полную, а только N последних сообщений, а остальное подгружать по мере необходимости.
... имеется сервер с базой и таблицей сообщений, в одной таблицу сообщения всех пользователей и всех чатов(если считаете что это не правильно то приму совет как лучше).
Если цель реализовать чат, то следует выбрать подходящую схему - централизованную или распределенную. Всё зависит от конечной цели.
В централизованной (когда одна общая таблица) необходимо иметь БД со всеми сообщениями всех пользователей, которая будет со временем только расти. Обслуживание такого сервера - большие затраты ресурсов (вычислительных и материальных). БД - единая точка отказ, слабое звено. Чем больше пользователей и их сообщений, тем медленнее работает централизованная БД. Такая схема годится для небольших чатов и для учебных проектов.
В распределенной схеме серверная БД занимается только регистрацией пользователей и диспетчеризацией их соединений, а все сообщения хранятся на стороне пользователя. Пользователь при желании может настроить их бэкапирование на свой облачный ресурс. Здесь не требуется большой БД для хранения сообщений, нагрузка на сервер минимальна. Количество пользователей может быть очень большим.
