WaveNet является порождающей моделью, использующей параметрический подход к синтезу речи. Её задача — восстановить распределение вероятностей звукового сигнала с помощью произведения условных вероятностей:
Таким образом, вероятность каждого сигнала зависит только от предыдущих сигналов. Во время обучения модель оценивает данное условное распределение вероятностей, принимая на вход сигналы из обучающей выборки одновременно. На этапе генерации модель порождает выходные сигналы с помощью полученной оценки распределения вероятности последовательно — полученный моделью сигнал в момент времени t подается обратно на вход для генерации последующего сигнала в момент времени . Структура модели позволяет использовать её в широком спектре задач, например, в задачах продолжения музыкального произведения по его началу, порождения голоса конкретного человека или text-to-speech синтеза.
Полная структура модели WaveNet изображена на Рисунке 4. В качестве вокодера используется мю-закон. Модель представляет собой множество слоев сверточной нейронной сети, аналогично модели PixelCNN. Модель на вход принимает закодированную мю-законом последовательность сигналов и, опционально, некоторую дополнительную информацию, обозначаемую как вектор параметров , а на выходе возвращает распределение вероятностей для параметров мю-закона, по которым можно восстановить синтезированный сигнал. На этапе обучения входным сигналом является пример звука из обучающей выборки, который подается на все входы одновременно. На этапе генерации входом модели x будут являться сигналы, порожденные ею в предыдущие моменты времени и передаваемые ей последовательно. Дополнительная информация , например, может содержать информацию о рассматриваемом тексте в задаче text-to-speech синтеза.