К проблеме предсказания событий

[Old]

Круто) У меня 95% совпадений максимум получается) Но обучение практически мгновенно)

А я устал ждать, Кроватный ноутбук не очень быстр.

[Old]

У меня 95% совпадений максимум получается)

Сейчас увеличил длину последовательности для обучения до 2000 значений, проверяю на следующих 500 значениях, размер запроса 30 значений.
Количество ошибок 7 из 500 (1.4%)

[m_ax]

Сейчас увеличил длину последовательности для обучения до 2000 значений, проверяю на следующих 500 значениях, размер запроса 30 значений.
Количество ошибок 7 из 500 (1.4%)

А вы не могли бы исходники выложить? Хочу посмотреть сколько по времени она у меня обучаться будет..

[Old]

А вы не могли бы исходники выложить? Хочу посмотреть сколько по времени она у меня обучаться будет..

Код

C++ (Qt)
#include <iostream>
#include <vector>
#include <boost/format.hpp>
#include "tiny_dnn/tiny_dnn.h"
 
using namespace std;
using namespace tiny_dnn;
using boost::format;
 
static constexpr size_t IN_SIZE       = 30;   // число предыдущих шагов для определения вероятности следующего шага
static constexpr size_t OUT_SIZE      = 2;
static constexpr size_t SIZE          = 2500; // Полный размер данных
static constexpr size_t TRAINING_SIZE = 2000; // Часть данных, для обучения сети
static constexpr size_t BATCH_SIZE    = 10;
static constexpr size_t EPOCHS        = 1000;
 
inline float toValue( bool v )
{
  return v? 1. : 0.;
}
 
int main( int /*argc*/, char */*argv*/[] )
{
  network<sequential> net;
  net << fully_connected_layer( IN_SIZE, 30 )
      << tanh_layer()
      << fully_connected_layer( 30, 30 )
      << tanh_layer()
      << fully_connected_layer( 30, OUT_SIZE );
 
  cout << "Generate source..." << endl;
  vector<bool> source( SIZE );
  for( size_t i = 0; i < source.size(); ++i )
    source[ i ] = sin( i ) + cos( 4 * i ) >= 0;
 
  cout << "Prepare datas..." << endl;
  const size_t numData = TRAINING_SIZE - IN_SIZE;
 
  std::vector<vec_t> inData;
  inData.reserve( numData );
  std::vector<vec_t> outData;
  outData.reserve( numData );
  for( size_t i = IN_SIZE; i < TRAINING_SIZE; ++i )
  {
    vec_t vIn( IN_SIZE );
    for( size_t j = 0; j < IN_SIZE; ++j )
      vIn[ j ] = toValue( source[ i - IN_SIZE + j ] );
 
    vec_t vOut( OUT_SIZE );
    vOut[ 0 ] = toValue( !source[ i ] );
    vOut[ 1 ] = toValue( source[ i ] );
 
    inData.push_back( vIn );
    outData.push_back( vOut );
  }
 
  int iEpoch = 0;
  auto on_enumerate_epoch = [&](){
    if( ++iEpoch % 100 )
      return;
 
    const double loss = net.get_loss<mse>( inData, outData );
    cout << format( "epoch = %1%/%2% loss = %3%" ) % iEpoch % EPOCHS % loss << endl;
  };
 
  cout << "Training..." << endl;
  adamax opt;
  net.fit<mse>( opt, inData, outData, BATCH_SIZE, EPOCHS, [](){}, on_enumerate_epoch );
 
  cout << "Checking..." << endl;
  size_t errCnt = 0;
  for( size_t i = TRAINING_SIZE; i < SIZE; ++i )
  {
    vec_t vIn( IN_SIZE );
    for( size_t j = 0; j < IN_SIZE; ++j )
      vIn[ j ] = toValue( source[ i - IN_SIZE + j ] );
 
    const vec_t vOut = net.predict( vIn );
    assert( vOut.size() == 2 );
 
    const bool observed = source[ i ];
    const bool predicted = vOut[ 0 ] < vOut[ 1 ];
    cout << format( "i = %1%\t[%2%]\tobserved = %3%\tpredicted = %4%\t[0] = %5%\t[1] = %6%" )
            % i
            % ((observed != predicted)? '!' : ' ')
            % observed
            % predicted
            % vOut[ 0 ]
            % vOut[ 1 ]
          << std::endl;
 
    if( observed != predicted )
      ++errCnt;
  }
 
  cout << format( "Error = %1%/%2% %3%%%" ) % errCnt % (SIZE - TRAINING_SIZE) % (float( errCnt ) / float( SIZE - TRAINING_SIZE ) * 100.) << std::endl;
 
  return 0;
}
 

[Old]

Хочу посмотреть сколько по времени она у меня обучаться будет..

Количество эпох можно значительно уменьшить, без потери точности.
Сейчас уменьшил их до 100, точность осталась та же.

[Old]

Начал играться со структурой сети: сделал 32 входа - первый скрытый слой на 32 нейрона - второй скрытый слой на 16 нейронов - 2 выхода.
Точность:
Error = 3/500 0.6%

Это при 100 эпохах.

[m_ax]

Хе, хе  Если усложнить функцию, добавив ещё одну быструю гармонику:

Код

C++ (Qt)
sin( i ) + cos( 4 * i ) + sin( 8 * i )
 

то обе сети сравниваются, при прочих равных параметрах (IN_SIZE = period = 30)
А вот по времени 

[Old]

Вы про время обучения?
Ну для задачи предсказания я бы его не учитывал.

[m_ax]

Вы про время обучения?
Ну для задачи предсказания я бы его не учитывал.

Ну это да)

Вобщем резюме такое: нейросети рулят
Как сказал Педро Домингос:
"Люди беспокоятся, что компьютеры станут слишком умными и захватят мир,
но реальная проблема в том, что они слишком глупы и уже его захватили". 

[m_ax]

Мне вот ещё интересно, как прокомментируют результаты этих двух тестов, два наших  Главных уважаемых эксперта?  

[ViTech]

Мне вот ещё интересно, как прокомментируют результаты этих двух тестов, два наших  Главных уважаемых эксперта?  

А это кто такие и почему их всего два? Остальные, значит, !(главные && уважаемые && эксперты)? Обидно будет .

Код не смотрел. Нейросеть - это, конечно, хорошо. Но с разбодяженой синусоидой разве анализ Фурье не справится? С нейросетью не получается ли из пушки по воробьям стрелять?

И, главный вопрос: когда ждать обвала фондовых рынков?

[m_ax]

А это кто такие и почему их всего два? Остальные, значит, !(главные && уважаемые && эксперты)? Обидно будет  

Ну почему же) У нас все участники форума весьма уважаемые и эксперты в своих областях)
Просто есть двое из лорца, которые более главнее) Да, мир не справедлив, примите это как данность)

Код не смотрел. Нейросеть - это, конечно, хорошо. Но с разбодяженой синусоидой разве анализ Фурье не справится? С нейросетью не получается ли из пушки по воробьям стрелять?

Справился бы) А вот с фондовыми рынками едва ли)

И, главный вопрос: когда ждать обвала фондовых рынков?  

А чего ждать) Обучаете нейросеть, и рушите биржу за биржей) Профит: Вы на солидной яхте, попивая виски,  похлопываете по попе молоденьких моделей)
Только если что, вы потом про нас с Old'ом не забудьте, ладно   (Я про финансовый вопрос, а не про "по попе"  )

[m_ax]

И, главный вопрос: когда ждать обвала фондовых рынков?  

Кстатии, а почему бы и не проверить всё это дело на динамике стоимости акций или аблигаций или ещё чего на фондовом рынке?  
Правда, нужен открытый доступ (на большом промежуток времени) к данным по этой самой динамике..  

И потом, там функция не бинарная..( 

[Old]

Кстатии, а почему бы и не проверить всё это дело на динамике стоимости акций или аблигаций или ещё чего на фондовом рынке? 
Правда, нужен открытый доступ (на большом промежуток времени) к данным по этой самой динамике..   

Нейронки там уже давно и успешно используют. Насколько я слышал.
У них там есть определенный набор фигур, типа после роста с тремя горбами начинается затяжной спад, и т.д.
Раньше их рассматривали трейдеры на графиках и делали прогнозы, а сейчас нейросетки.

[Old]

И потом, там функция не бинарная..( 

Ну и что, можно учить сеть на "начнется спад", "будет все ровно" и "бурный рост".
Мы ей данные за месяц - она нам прогноз на неделю.