нейронная сеть и потоки

[dimka8ya]

Доброго времени суток. я сделал нейронную сеть на QVector<QVector<QVector<double>>> веса; и QVector<Qvector<double>> активированные выходы; , все это работает в одном потоке ,но так медленнннноооо .как я понимаю самые трмоза в математических расчетах сигмоиды и вес * актив.выход . с потоками не разу дело не имел , то что видел в инете - это создаем поток и выводим в терминал . как можно создать параллельные потоки и дождатся их равершения и только потом переходить на следующий слой . у меня Linux , если я правильно понимаю ,то можно создать хоть 10000 потоков и Ось с ними разберется и передаст управление основному потоку ( здесь я могу ошибаться из-за своей безграмотности ). может у кого есть пример похожий на мою проблему или как это можно решить ? спасибо за понимание 

[Авварон]

Может тормозить из-за Copy-On-Write, попробуйте std::vector

[dimka8ya]

QVector и std::vector особой разницы нет . тут именно математика числа double и возведение в степень .

[Igors]

Перед тем как копать/оптимизировать неплохо убедиться что задача вообще "разпоточивается". Это ларчик может просто "не открываться"

[ecspertiza]

1. 10000 потоков создать можно, но из за конкуренции между ними, работать быстрее не станет. Кол-во потоков выставляй кол-ву ядер процессора, в этом случае будет прирост, дальше либо без прироста скорости либо тормоза.
2. Можешь выносить вычисления по нейрону в QtConcurrent например, он возьмет поток из готового пула и отдаст ему расчет, создавай по QtConcurrent на вычисление. Когда все QtConcurrent завершились переходишь к следующему слою. В этом случае у тебя часть нейронов будут считаться в одном потоке, часть в другом и т.д. Не больше тредов чем кол-во ядер, насколько помню.
3. На CPU считать нейросети крайне затратная вещь. Не предназначен он для этого. Если это баловство с сетками или задача в универе, тогда вопросов нет. Иначе подрубай GPU для расчета.

[Igors]

Иначе подрубай GPU для расчета.

Какой "бодрый" совет Интересно каким образом его "подрубать"? (давеча создавал похожую тему)

[m_ax]

как я понимаю самые трмоза в математических расчетах сигмоиды и вес * актив.выход .

Нет, дело не в этом.
Как у вас back propagation error происходит/реализовано?

[dimka8ya]

все очень просто

Код:

std::thread t( [=]{
 for( int i=0; i<argc; ++i )
 std::cout << argv[i] << “\n”;
 });
 t.join();

[m_ax]

все очень просто

Код:

std::thread t( [=]{
 for( int i=0; i<argc; ++i )
 std::cout << argv[i] << “\n”;
 });
 t.join();

Это что за..?

[ecspertiza]

Судя по коду имеет смысл почитать про треды для начала )))) У вас тут не будет "параллельной" работы.

[dimka8ya]

Судя по коду имеет смысл почитать про треды для начала )))) У вас тут не будет "параллельной" работы.

согласен . многопоточности нет

[dimka8ya]

Код:

void do_work(unsigned id);
void f()
{
  std::vector<std::thread> threads;
  for(unsigned i=0;i<20;++i)
     {
      threads.push_back(std::thread(do_work,i));
     }
  std::for_each(threads.begin(),threads.end(),std::mem_fn(&std::thread::join));
}

[Авварон]

Код:

for (auto &thread: threads)
    thread.join();
[code]

[/code]

[ecspertiza]

ТС, у тебя задача какая? Побаловаться с нейронками или что то в прод. сделать?

[dimka8ya]

все только для личного пользования . GPU нет , и покупать новый ПК нет желания .  есть ноут 8и ядерный и сейчас думаю как разделить переменное количество нейронов в слое(от 1 до бесконечности) на 7 дополнительных потоков. пробовал разные библиотеки и у всех одна проблема ,нейрон в виде классов ,а это сжирает оперативку и мусор ненужный . вместо сигмоиды пробовал другие активации нейрона , получается усереднение ошибки ( сигмоида ошибка 0.03 , а другие доходили только до 0.14 ) . экспериментировал целый месяц и выводил ошибки на график QCuctom Plot  и пришол к итогу который у меня сейчас . нужно только решить с скоростью обучения сети , так как сеть нужно переучивать постоянно ( мои личные эксперименты и тараканы ) . с моим количеством слоев и нейронов в слое на обучение уходит 2е суток в 1 поток , сеть не стандартная .