time series analysis and db

• 1. отвечают за моделирование периодических изменений, связанных с недельной и годовой сезонностью. Недельная сезонность моделируется с помощью dummy variables. Добавляются 6 дополнительных признаков, например, [monday, tuesday, wednesday, thursday, friday, saturday], которые принимают значения 0 и 1 в зависимости от даты. Признак sunday, соответствующий седьмому дню недели, не добавляют, потому что он будут линейно зависеть от других дней недели и это будет влиять на модель.

  2. Годовая же сезонность моделируется рядами Фурье.

  3. Тренд

  4. позволяет моделировать рост с насыщением, когда при увеличении показателя снижается темп его роста. Типичный пример — это рост аудитории приложения или сайта.

  5. Кроме всего прочего, библиотека умеет по историческим данным выбирать оптимальные точки изменения тренда. Но их также можно задать и вручную (например, если известны даты релизов новой функциональности, которые сильно повлияли на ключевые показатели).

  6. Компонента

  7. отвечает за заданные пользователем аномальные дни, в том числе и нерегулярные, такие как, например, Black Fridays.

  8. Ошибка

  9. содержит информацию, которая не учтена моделью.

Подробнее про алгоритмы можно прочитать в публикации Sean J. Taylor, Benjamin Letham "Forecasting at scale".

https://www.youtube.com/watch?v=RdTxLXmbvjY (ru) Прогнозирование временных рядов Воронцов

http://www.svds.com/tbt-avoiding-common-mistakes-time-series-analysis/

https://news.ycombinator.com/item?id=13742102 probabilistic programming

https://www.youtube.com/watch?v=hhJIztWR_vo TS analysis with TensorFlow

https://www.xaprb.com/blog/2014/06/08/time-series-database-requirements/

http://axibase.com/

https://en.wikipedia.org/wiki/Time_series_database

http://www.timestored.com/time-series-data/column-oriented-databases

https://blog.dataloop.io/top10-open-source-time-series-databases

http://jmoiron.net/blog/thoughts-on-timeseries-databases

https://blog.netsil.com/a-comparison-of-time-series-databases-and-netsils-use-of-druid-db805d471206#.j6bw7mtrs

https://medium.com/making-sense-of-data/time-series-next-value-prediction-using-regression-over-a-rolling-window-228f0acae363#.73j7bjkj9

http://chronix.io/#features

https://github.com/RJT1990/pyflux/ python TS lib

Time Series Analysis

https://machinelearningmastery.com/introduction-to-time-series-forecasting-with-python/?__s=czpvxqj5c1ckqjiajfyo BOOK

http://habrahabr.ru/post/207160/ in python statmodels

https://github.com/blue-yonder/tsfresh

http://institutiones.com/download/lecture/804-analiz-vremennih-ryadov.html

http://www.stat.pitt.edu/stoffer/tsa3/

http://practicalquant.blogspot.com/2012/10/mining-time-series-with-trillions-of.html

Databases

https://blog.dataloop.io/time-series-database-benchmarks

https://www.reddit.com/r/programming/comments/66jwc1/timeseries_data_why_and_how_to_use_a_relational/

http://www.timescaledb.com/

https://blog.timescale.com/when-boring-is-awesome-building-a-scalable-time-series-database-on-postgresql-2900ea453ee2

https://docs.google.com/spreadsheets/d/1sMQe9oOKhMhIVw9WmuCEWdPtAoccJ4a-IuZv4fXDHxM/edit#gid=0

https://axibase.com/products/axibase-time-series-database/

https://julien.danjou.info/blog/2016/gnocchi-carbonara-timeseries-compression

http://opentsdb.net/

http://www.amazon.com/Time-Databases-Ways-Store-Access/dp/1491914726

http://db-engines.com/en/blog_post/45

https://github.com/spotify/heroic

https://news.ycombinator.com/item?id=10530983

http://www.vldb.org/pvldb/vol8/p1816-teller.pdf

https://www.elastic.co/blog/elasticsearch-as-a-time-series-data-store

http://akumuli.org/akumuli/2015/10/12/standalone/

http://avaxhm.com/ebooks/programming_development/database_sql/1491914726.html

https://www.influxdata.com/time-series-platform/influxdb/

https://news.ycombinator.com/item?id=9262949 InfluxDB

http://www.xaprb.com/blog/2014/06/08/time-series-database-requirements/

http://prometheus.io/docs/introduction/comparison/

https://blog.tempoiq.com/blog/2013/04/22/optimizing-relational-databases-for-time-series-data-time-series-database-overview-part-3

http://akumuli.org/

http://prometheus.io/docs/operating/storage/

http://kx.com/

http://misfra.me/state-of-the-state-part-iii

https://news.ycombinator.com/item?id=9163044

https://news.ycombinator.com/item?id=9805742

Time Series Analysis

http://habrahabr.ru/post/207160/ in python statmodels

http://www.analyticsvidhya.com/blog/2016/02/time-series-forecasting-codes-python/

http://www.analyticsvidhya.com/blog/2016/02/hand-learn-time-series-3-hours-mini-datahack/

Anomaly detection

https://iwringer.wordpress.com/2015/11/17/anomaly-detection-concepts-and-techniques/

http://info.dataengconf.com/anomaly-detection-for-real-world-systems

https://www.reddit.com/r/learnmachinelearning/comments/5wfa1r/outlier_detection_in_highdimensional_time_series/

http://www.analyticsvidhya.com/blog/2016/02/time-series-forecasting-codes-python/

http://www.autonlab.org/tutorials/biosurv.html

https://news.ycombinator.com/item?id=11621262

http://datascience.stackexchange.com/questions/6547/open-source-anomaly-detection-in-python

https://speakerdeck.com/rosiebloxsom/anomaly-detection-with-python

https://unsupervisedlearning.wordpress.com/2014/08/04/topological-anomaly-detection/

https://blog.twitter.com/2015/introducing-practical-and-robust-anomaly-detection-in-a-time-series

http://www.knime.org/blog/anomaly-detection-in-predictive-maintenance-with-time-series-analysis

http://docplayer.net/901590-Big-data-time-series-analysis.html

http://institutiones.com/download/lecture/804-analiz-vremennih-ryadov.html

http://www.stat.pitt.edu/stoffer/tsa3/

http://bicorner.com/2015/11/16/time-series-analysis-using-ipython/

http://shahramabyari.com/

http://arxiv.org/abs/1510.03336

http://arxiv.org/pdf/1510.03336v4.pdf

Shewhart's statistical process control. you are not limited to 3-sigma based algorithms if you don't want to use them - as long as you return a boolean, you can add any sort of algorithm you like to run on timeseries and vote.

Explanation of Exceptions:

TooShort: The timeseries was too short, as defined in settings.MIN_TOLERABLE_LENGTH

Incomplete: The timeseries was less than settings.FULL_DURATION seconds long

Stale: The timeseries has not received a new metric in more than settings.STALE_PERIODseconds

Boring: The timeseries has been the same value for the past settings.MAX_TOLERABLE_BOREDOMseconds

http://en.wikipedia.org/wiki/Decomposition_of_time_series

http://a-little-book-of-r-for-time-series.readthedocs.org/en/latest/src/timeseries.html

http://www.gistatgroup.com/gus/http://practicalquant.blogspot.com/2012/10/mining-time-series-with-trillions-of.html

https://news.ycombinator.com/item?id=9941485

http://habrahabr.ru/post/267035/