Deep Learning

이안 굿펠로우, 요수아 벤지오의 딥 러닝 번역본을 읽다 보니 눈에 띄는 구절이 들어와 원문을 찾아 메모를 남겨 본다. 관심 있고 읽고 싶은 부분만 눈에 들어오는 거겠지만. 의미 있는 수준의 개선을 달성하였던 최적화도 사실 학부 컴퓨터 구조론에서 다루어지는 기본을 반복해 나간 결과인 경우가 많았고, 그래서 기초적인 사항들을 언급한 이 문단에 많은 공감을 보낸다.

The important principle is that careful specialization of numerical computation routines can yield a large payoff. Other strategies, besides choosing whether to use fixed or floating point, include optimizing data structures to avoid cache misses and using vector instructions.

Many machine learning researchers neglect these implementation details, but when the performance of an implementation restricts the size of the model, the accuracy of the model suffers.