Header

UZH-Logo

Maintenance Infos

The weighted Nadaraya-Watson estimator : strong consistency to the Faculty of Economics, Business Administration and Information Technology of the University of Zurich


Steikert, Kristoph U. The weighted Nadaraya-Watson estimator : strong consistency to the Faculty of Economics, Business Administration and Information Technology of the University of Zurich. 2014, University of Zurich, Faculty of Economics.

Abstract

Abstract This dissertation consists of three research manuscripts, establishing strong consistency re- sults and introducing a bandwidth selection method for the weighted Nadaraya-Watson estimator. This nonparametric estimator extends the ordinary Nadaraya-Watson estima- tor and is designed to reproduce the superior bias properties of the local linear estimator, while, in the case of estimating the predictive distribution, preserving the property that the ordinary Nadaraya-Watson estimator is always a distribution function. Therefore, in the context of weakly dependent, nonlinear data, the estimator is appealing, because, it reduces the bias compared to classical methods and provides a coherent framework for forecasting nonlinear time series. In the first manuscript, I establish pointwise strong consistency for the weighted Nadaraya- Watson estimator for functions of strongly mixing processes. Considering functions of strongly mixing processes facilitate the estimation of the entire range of statistics needed to forecast including the multi-step ahead prediction given a selective past, raw moments and the conditional variance thereof, as well as its distribution function (predictive distribution). Furthermore, I provide the rate of convergence which is novel for this estimator. In the second manuscript, I establish uniform strong consistency over compact subsets of the real line. In addition to providing the rate of convergence, I provide a detailed analysis of this rate in the case of a polynomial strong mixing coefficient for practical purposes. Sim- ilar to the previous manuscript, I consider functions of strongly mixing processes. Uniform strong consistency is an important property of estimators, because it permits further research regarding consistency of estimation methods in which the weighted Nadaraya-Watson esti- mator is embedded. Examples include two-stage, semiparametric, or bootstrap estimators. The results in this manuscript therefore provide the foundations for proving consistency of the bootstrap estimator in the final manuscript of this dissertation. In the third manuscript, I propose a novel, fully data driven method to select the band- width for the weighted Nadaraya-Watson estimator. The procedure, which is based on the local bootstrap works because the weighted Nadaraya-Watson estimator consistently esti- mates the predictive distribution. By virtue of the local bootstrap, an estimator of the integrated mean squared error (IMSE) is constructed and a particular bandwidth is selected for which the estimated IMSE is minimized. The selection procedure is tested in an extensive simulation study estimating various statistics of future values based on observed values for commonly used nonlinear time series models. In terms of the mean absolute deviation error (MADE) the procedure outperforms a selection procedure based on a nonparametric version of Akaike’s information criterion that is frequently used in the applied literature. The re- sults show that the proposed procedure based on the local bootstrap is an appealing choice among the scarce list of bandwidth selection methods for the weighted Nadaraya-Watson estimator and weakly dependent time series data.
Zusammenfassung Die vorliegende Dissertation besteht aus drei Fachaufsätzen, in welchen die Eigenschaften starker Konsistenz gezeigt, sowie eine Selektionsmethode für die Bandbreite des weighted Nadaraya-Watson Schätzers vorgeschlagen werden beziehungsweise wird. Dieser nichtpara- metrische Schätzer erweitert den bestehenden Nadaraya-Watson Schätzer. Die Auswirkun- gen der Erweiterung bestehen darin, dass der Schätzer die besseren Verzerrungseigenschaften des lokal linearen Schätzers nachbildet wobei er gleichzeitig die Eigenschaften einer Ver- teilungsfunktion, im Falle einer Schätzung dieser besitzt. Bei schwach abhängigen und nichtlinearen Zeitreihen ist der Schätzer vorteilhaft, da er im Vergleich zu den klassischen Methoden ein kohärentes Rahmenwerk für das Prognostizieren von nichtlinearen Zeitreihen bereitstellt in welchem die Verzerrung reduziert ist. Im ersten Fachaufsatz wird die punktweise starke Konsistenz des weighted Nadaraya- Watson Schätzers für Funktionen von stark mischenden Prozessen nachgewiesen. Das Betra- chten von Funktionen von stark mischenden Prozessen ermöglicht das Schätzen des vollum- fänglichen Spektrums von Statistiken, welche zur Prognose von Zeitreihen benötigt werden. Diese umfassen die einfache Prognose eines zukünftigen Ereignisses gegeben einer selektiven Vergangenheit, Momente und die Varianz dergleichen, sowie die kumulative Verteilungs- funktion der Prognose. Eine weitere Neuheit in diesem Fachaufsatz ist die Ermittlung der Konvergenzgeschwindigkeit, mit der der Schätzer sich dem wahren Wert nähert. Im zweiten Fachaufsatz wird die gleichmässige Konsistenz über kompakte Teilmengen der reellen Zahlengerade nachgewiesen. Neben der Konvergenzgeschwindigkeit wird diese ebenfalls im Falle eines polynomial starken Mischungskoeffizienten analysiert. Ähnlich wie im vorherigen Fachaufsatz werden Funktionen von stark mischenden Prozessen betrachtet. Gleichmässige Konsistenz ist eine wichtige Eigenschaft von Schätzern, da sie die Grundlage für weitere Forschung auf dem Gebiet der Konsistenz für Schätzer in denen der weighted Nadaraya-Watson Schätzer eingebunden ist bildet. Beispiele für eine solche Einbindung sind unter Anderem zweistufige-, semiparametrische- oder Bootstrap-Schätzer. Im dritten Fachaufsatz wird eine neuartige und vollkommen datenbasierte Methode für die Selektion der Bandbreite für den weighted Nadaraya-Watson Schätzer vorgestellt. Die Methode, welche auf der lokalen Bootstrap Methode basiert, funktioniert, da der weighted Nadaraya-Watson Schätzer die bedingte Verteilungsfunktion eines zukünftigen Ereignisses, gegeben einer selektiven Vergangenheit, konsistent schätzt. Aufbauend auf dem lokalen Bootstrap wird ein Schätzer des integrated mean square error (IMSE) konstruiert und eine Bandbreite selektiert, für welche der geschätzte IMSE minimiert ist. Die Methode wird anhand einer Simulationsstudie überprüft, in der diverse gebräuchliche nichtlineare Zeitrei- henmodelle prognostiziert werden. Hinsichtlich des mean absolute deviation error (MADE) übertrifft die Methode eine in der Literatur häufig verwendete Methode welche auf einer nichtparametrischen Version des Akaikes Informationskriterium basiert. Die Ergebnisse zeigen, dass die vorstellte Methode eine konkurrenzfähige Alternative unter den Methoden zur Selektion der Bandbreite für den Schätzer, bei schwach abhängigen Zeitreihen, darstellt.

Abstract

Abstract This dissertation consists of three research manuscripts, establishing strong consistency re- sults and introducing a bandwidth selection method for the weighted Nadaraya-Watson estimator. This nonparametric estimator extends the ordinary Nadaraya-Watson estima- tor and is designed to reproduce the superior bias properties of the local linear estimator, while, in the case of estimating the predictive distribution, preserving the property that the ordinary Nadaraya-Watson estimator is always a distribution function. Therefore, in the context of weakly dependent, nonlinear data, the estimator is appealing, because, it reduces the bias compared to classical methods and provides a coherent framework for forecasting nonlinear time series. In the first manuscript, I establish pointwise strong consistency for the weighted Nadaraya- Watson estimator for functions of strongly mixing processes. Considering functions of strongly mixing processes facilitate the estimation of the entire range of statistics needed to forecast including the multi-step ahead prediction given a selective past, raw moments and the conditional variance thereof, as well as its distribution function (predictive distribution). Furthermore, I provide the rate of convergence which is novel for this estimator. In the second manuscript, I establish uniform strong consistency over compact subsets of the real line. In addition to providing the rate of convergence, I provide a detailed analysis of this rate in the case of a polynomial strong mixing coefficient for practical purposes. Sim- ilar to the previous manuscript, I consider functions of strongly mixing processes. Uniform strong consistency is an important property of estimators, because it permits further research regarding consistency of estimation methods in which the weighted Nadaraya-Watson esti- mator is embedded. Examples include two-stage, semiparametric, or bootstrap estimators. The results in this manuscript therefore provide the foundations for proving consistency of the bootstrap estimator in the final manuscript of this dissertation. In the third manuscript, I propose a novel, fully data driven method to select the band- width for the weighted Nadaraya-Watson estimator. The procedure, which is based on the local bootstrap works because the weighted Nadaraya-Watson estimator consistently esti- mates the predictive distribution. By virtue of the local bootstrap, an estimator of the integrated mean squared error (IMSE) is constructed and a particular bandwidth is selected for which the estimated IMSE is minimized. The selection procedure is tested in an extensive simulation study estimating various statistics of future values based on observed values for commonly used nonlinear time series models. In terms of the mean absolute deviation error (MADE) the procedure outperforms a selection procedure based on a nonparametric version of Akaike’s information criterion that is frequently used in the applied literature. The re- sults show that the proposed procedure based on the local bootstrap is an appealing choice among the scarce list of bandwidth selection methods for the weighted Nadaraya-Watson estimator and weakly dependent time series data.
Zusammenfassung Die vorliegende Dissertation besteht aus drei Fachaufsätzen, in welchen die Eigenschaften starker Konsistenz gezeigt, sowie eine Selektionsmethode für die Bandbreite des weighted Nadaraya-Watson Schätzers vorgeschlagen werden beziehungsweise wird. Dieser nichtpara- metrische Schätzer erweitert den bestehenden Nadaraya-Watson Schätzer. Die Auswirkun- gen der Erweiterung bestehen darin, dass der Schätzer die besseren Verzerrungseigenschaften des lokal linearen Schätzers nachbildet wobei er gleichzeitig die Eigenschaften einer Ver- teilungsfunktion, im Falle einer Schätzung dieser besitzt. Bei schwach abhängigen und nichtlinearen Zeitreihen ist der Schätzer vorteilhaft, da er im Vergleich zu den klassischen Methoden ein kohärentes Rahmenwerk für das Prognostizieren von nichtlinearen Zeitreihen bereitstellt in welchem die Verzerrung reduziert ist. Im ersten Fachaufsatz wird die punktweise starke Konsistenz des weighted Nadaraya- Watson Schätzers für Funktionen von stark mischenden Prozessen nachgewiesen. Das Betra- chten von Funktionen von stark mischenden Prozessen ermöglicht das Schätzen des vollum- fänglichen Spektrums von Statistiken, welche zur Prognose von Zeitreihen benötigt werden. Diese umfassen die einfache Prognose eines zukünftigen Ereignisses gegeben einer selektiven Vergangenheit, Momente und die Varianz dergleichen, sowie die kumulative Verteilungs- funktion der Prognose. Eine weitere Neuheit in diesem Fachaufsatz ist die Ermittlung der Konvergenzgeschwindigkeit, mit der der Schätzer sich dem wahren Wert nähert. Im zweiten Fachaufsatz wird die gleichmässige Konsistenz über kompakte Teilmengen der reellen Zahlengerade nachgewiesen. Neben der Konvergenzgeschwindigkeit wird diese ebenfalls im Falle eines polynomial starken Mischungskoeffizienten analysiert. Ähnlich wie im vorherigen Fachaufsatz werden Funktionen von stark mischenden Prozessen betrachtet. Gleichmässige Konsistenz ist eine wichtige Eigenschaft von Schätzern, da sie die Grundlage für weitere Forschung auf dem Gebiet der Konsistenz für Schätzer in denen der weighted Nadaraya-Watson Schätzer eingebunden ist bildet. Beispiele für eine solche Einbindung sind unter Anderem zweistufige-, semiparametrische- oder Bootstrap-Schätzer. Im dritten Fachaufsatz wird eine neuartige und vollkommen datenbasierte Methode für die Selektion der Bandbreite für den weighted Nadaraya-Watson Schätzer vorgestellt. Die Methode, welche auf der lokalen Bootstrap Methode basiert, funktioniert, da der weighted Nadaraya-Watson Schätzer die bedingte Verteilungsfunktion eines zukünftigen Ereignisses, gegeben einer selektiven Vergangenheit, konsistent schätzt. Aufbauend auf dem lokalen Bootstrap wird ein Schätzer des integrated mean square error (IMSE) konstruiert und eine Bandbreite selektiert, für welche der geschätzte IMSE minimiert ist. Die Methode wird anhand einer Simulationsstudie überprüft, in der diverse gebräuchliche nichtlineare Zeitrei- henmodelle prognostiziert werden. Hinsichtlich des mean absolute deviation error (MADE) übertrifft die Methode eine in der Literatur häufig verwendete Methode welche auf einer nichtparametrischen Version des Akaikes Informationskriterium basiert. Die Ergebnisse zeigen, dass die vorstellte Methode eine konkurrenzfähige Alternative unter den Methoden zur Selektion der Bandbreite für den Schätzer, bei schwach abhängigen Zeitreihen, darstellt.

Statistics

Downloads

597 downloads since deposited on 03 Apr 2019
392 downloads since 12 months
Detailed statistics

Additional indexing

Item Type:Dissertation (monographical)
Referees:Kubler Felix, Wolf Michael
Communities & Collections:UZH Dissertations
Dewey Decimal Classification:Unspecified
Language:English
Place of Publication:Zurich
Date:2014
Deposited On:03 Apr 2019 15:30
Last Modified:15 Apr 2021 15:03
Number of Pages:139
OA Status:Green

Download

Green Open Access

Download PDF  'The weighted Nadaraya-Watson estimator : strong consistency to the Faculty of Economics, Business Administration and Information Technology of the University of Zurich'.
Preview
Content: Published Version
Language: English
Filetype: PDF
Size: 2MB