Conference PaperPDF Available

The Impact of Hyper-Parameter Tuning On Campaign Success Prediction

Authors:
  • İstanbul University
  • Next4biz Information Technologies

Abstract

Sales and marketing endeavors play a crucial role for organizations seeking to expand, enhance profitability, and establish brand recognition within the contemporary competitive corporate landscape. The optimization of investments and efforts within the scope of these activities is typically favored through the utilization of innovative ways. In light of the intense rivalry prevailing in contemporary market conditions, corporations adopt an analytical approach when making investment decisions. Within this, it is imperative for all organizations to engage in comprehensive studies and base their decisions on these analyses when transmitting campaign notifications. The primary objective of these notifications is to establish effective communication channels with both existing consumers and possible future customers. In this regard, preemptively forecasting the efficacy of the campaign prior to disseminating campaign notifications serves to mitigate potential fallacious judgments. Enhancing the performance of models employed in the prediction of campaign success, through measures such as enhancing data quality and fine-tuning hyper- parameters, boosts the efficacy of machine learning models. This study aims to examine the impact of hyper-parameter tuning on the performance of prediction models. The study employed a range of artificial learning classification algorithms, including LightGBM, XGBoost, Random Forest, CatBoost, K-Nearest Neighbor, Decision Tree, Extra Trees, Gaussian Naive Bayes, and Logistic Regression. Additionally, Multilayer Perceptron as a deep learning algorithm was utilized. The hyper-parameters of each algorithm were adjusted using the grid search algorithm. Upon comparing the classification successes of the prediction models obtained prior to hyper-parameter tuning with those achieved after hyper-parameter tuning, we observed that the accuracy is increased by 3%. According to the data analyzed in the study, hyper-parameter tuning can greatly enhance the performance of existing prediction models. This research suggests that firms could employ hyper-parameter tuning when using machine learning or deep learning models to forecast the effectiveness of their campaigns.
12. Uluslararası Bilimsel Çalışmalar Kongresi (UBCAK)
223
Makale id= 65
Sözlü Sunum
ORCID ID: 0000-0003-4318-7357; 0000-0002-5078-9463; 0000-0001-5462-698X
Hiper-Parametre Ayarlamasının Kampanya Başarı Tahmini Üzerindeki Etkisi
Dr. Emrah Sezer1 , Araştırmacı Teoman Berkay Ayaz1 , Araştırmacı Ahmet Erkan Çelik1
1Next4Biz
Özet
Satış ve pazarlama faaliyetleri, günümüzün rekabetçi ortamında büyümeyi,
karlılığı ve marka bilinirliğini arttırmayı hedefleyen şirketler için kritik öneme sahiptir.
Bu faaliyetler kapsamında yapılan yatırımların ve harcanan eforun optimizasyonu için
yenilikçi yaklaşımlar tercih edilmektedir. Günümüz piyasa koşullarında rekabet
seviyesinin oldukça yüksek düzeylere gelmesi nedeni ile işletmeler yatırım kararlarında
analitik bakış açısı ile hareket etmektedirler. Bu çerçevede, tüm işletmeler müşterileri
ve gelecekteki potansiyel müşteri ile iletişime geçme amacı ile yürüttükleri kampanya
bildirimlerinin iletilmesi çalışmalarında detaylı analizler yapmakta ve bu analizlerin
ışığında kararlar almaktadır. Bu açıdan kampanya bildirimlerinin gönderiminin
öncesinde kampanya başarısının tahmin edilmesi olası hatalı kararların önüne geçer.
Kampanya başarısı tahmininde kullanılan modellerinin performansının
optimizasyonuna yönelik olarak veri kalitesinin arttırılması ve tahmin modellerinin
hiper-parametrelerinin ayarlanması gibi iyileştirici çalışma yapay öğrenme modellerinin
etkinliğini arttırmaktadır. Bu çalışma kapsamında, kampanya başarısı tahmininde
hiper-parametre ayarlamasının tahmin modeli başarısına olan etkileri araştırılmıştır.
Çalışmada kullanılan LightGBM, XGBoost, Rassal Orman, CatBoost, K-En yakın
komşu, Karar Ağacı, Ekstra Ağaç, Gauss Naif Bayes, Lojistik Regresyon yapay
öğrenme sınıflandırma algoritmaları ve Çok Katmanlı Algılayıcı derin öğrenme
algoritmasından her birinin kendisine ait olan hiper-parametrelerinin ızgara arama
algoritması kullanılarak ayarlanması sağlanmıştır. Hiper-parametre ayarlarının
yapılmasından önce elde edilen tahmin modellerinin sınıflandırma başarıları ile hiper-
parametre ayarlaması yapılmış tahmin modellerinin sınıflandırma başarıları
karşılaştırıldığında %3 doğruluğu arttırdığı gözlemlendi. Çalışma kapsamında
gerçekleştirilen analizlerde hiper-parametre ayarlamaları ile mevcut tahmin
modellerinin performanslarının önemli ölçüde iyileştirilebildiği görülmüştür. Bu
çalışmanın sonuçlarına dayanarak, kampanya başarısı tahmini için yapay öğrenme
veya derin öğrenme modelleri adapte eden işletmelere hiper-parametre ayarlaması
kullanmaları tavsiye edilmiştir.
12. Uluslararası Bilimsel Çalışmalar Kongresi (UBCAK)
224
Anahtar Kelimeler: Hiper-Parametre Ayarlama; Kampanya Başarı Tahmini;
Pazarlama Analitiği; Yapay Öğrenme; Derin Öğrenme
The Impact of Hyper-Parameter Tuning On Campaign Success Prediction
Abstract
Sales and marketing endeavors play a crucial role for organizations seeking to expand, enhance
profitability, and establish brand recognition within the contemporary competitive corporate
landscape. The optimization of investments and efforts within the scope of these activities is
typically favored through the utilization of innovative ways. In light of the intense rivalry prevailing
in contemporary market conditions, corporations adopt an analytical approach when making
investment decisions. Within this, it is imperative for all organizations to engage in comprehensive
studies and base their decisions on these analyses when transmitting campaign notifications. The
primary objective of these notifications is to establish effective communication channels with both
existing consumers and possible future customers. In this regard, preemptively forecasting the
efficacy of the campaign prior to disseminating campaign notifications serves to mitigate potential
fallacious judgments. Enhancing the performance of models employed in the prediction of
campaign success, through measures such as enhancing data quality and fine-tuning hyper-
parameters, boosts the efficacy of machine learning models. This study aims to examine the impact
of hyper-parameter tuning on the performance of prediction models. The study employed a range
of artificial learning classification algorithms, including LightGBM, XGBoost, Random Forest,
CatBoost, K-Nearest Neighbor, Decision Tree, Extra Trees, Gaussian Naive Bayes, and Logistic
Regression. Additionally, Multilayer Perceptron as a deep learning algorithm was utilized. The
hyper-parameters of each algorithm were adjusted using the grid search algorithm. Upon
comparing the classification successes of the prediction models obtained prior to hyper-parameter
tuning with those achieved after hyper-parameter tuning, we observed that the accuracy is
increased by 3%. According to the data analyzed in the study, hyper-parameter tuning can greatly
enhance the performance of existing prediction models. This research suggests that firms could
employ hyper-parameter tuning when using machine learning or deep learning models to forecast
the effectiveness of their campaigns.
Keywords: Hyper-Parameter Tuning; Campaign Success Prediction; Marketing Analytics;
Machine Learning; Deep Learning
ResearchGate has not been able to resolve any citations for this publication.
ResearchGate has not been able to resolve any references for this publication.