Text
Implementasi Layanan Informasi Politeknik Siber dan Sandi Negara Berbasis Chatbot Menggunakan Model GPT-3.5 dengan Metode Prompt Engineering yang Dilengkapi Pencegahan Prompt Injection Attack
Abstrak: Politeknik Siber dan Sandi Negara (Poltek SSN) memerlukan layanan informasi yang responsif dan akurat untuk meningkatkan kepuasan civitas akademika dan masyarakat. Penelitian ini mengembangkan chatbot berbasis large language model GPT-3.5 dengan metode prompt engineering, khususnya teknik role-play prompting, untuk memberikan layanan informasi yang interaktif dan akurat. Selain itu, penelitian ini juga mengusulkan teknik bernama Prinsec Chatbot Framework untuk melindungi chatbot secara optimal dari serangan prompt injection. Hasil penelitian menunjukkan bahwa chatbot GPT-3.5 memiliki performa lebih baik dibandingkan dengan chatbot dari penelitian Fauzia et al., dengan nilai rata-rata F1 score sebesar 1.0, lebih tinggi dibandingkan dengan 0.82 pada penelitian sebelumnya. Selain itu, teknik Prinsec Chatbot Framework berhasil menurunkan tingkat keberhasilan serangan prompt injection dari 49.36% menjadi 0% atau tidak ada. Penelitian ini membuktikan bahwa penerapan GPT-3.5 dengan teknik prompt engineering yang dilengkapi dengan teknik Prinsec Chatbot Framework dapat meningkatkan kualitas layanan informasi serta keamanan chatbot di Poltek SSN.
No copy data
No other version available