Коробцов В. И., Овсянников И.В., Сачков Д.И. Автоматическая генерация надежного программного кода с помощью генеративных предобученных трансформеров (GPT) // «Информационные технологии и математическое моделирование в управлении сложными системами»: электрон. науч. журн. – 2024. – №1. – С.52-59. – Режим доступа: http://ismm-irgups.ru/toma/121-2024, свободный. – Загл. с экрана. – Яз. рус., англ. (дата обращения: 17.04.2024)
В данном исследовании авторы фокусируются на оценке способности различных моделей генеративных предобученных трансформеров (GPT) автоматически генерировать программный код для решения задач алгоритмического характера с различным уровнем сложности, выбранных с платформы Leetcode. Рассматриваемые модели включают: GPT-3.5 и GPT-4 от OpenAI, Yandex-GPT от российского разработчика Yandex, GigaChat от SBER, Gemini от Google, Copilot от Microsoft, Mistral AI от французкой компании Mistral, Claude-3 от Anthropic AI и модель с открытым исходным кодом Llama-70b. GPT-3.5 рассматривается как устаревшая модель, тогда как GPT-4 представляет собой последнюю разработку OpenAI. Yandex-GPT и GigaChat выделяются как продукты общего назначения с упором на корпоративное использование, разработанные в России. Модель Copilot от Microsoft спроектирована специально для поддержки разработчиков в написании программного кода в интегрированных средах разработки.
- X. Han, Z. Zhang, N. Ding, Y. Gu, X. Liu, Y. Huoet al., "Pre-trained models: past, present and future", AI Open, vol. 2, p. 225-250, 2021. https://doi.org/10.1016/j.aiopen.2021.08.002
- D. Otter, J. Medina, & J. Kalita, "A survey of the usages of deep learning for natural language processing", IEEE Transactions on Neural Networks and Learning Systems, vol. 32, no. 2, p. 604-624, 2021. https://doi.org/10.1109/tnnls.2020.2979670
- B. Idrisov and T. Schlippe, "Program code generation with generative ais", Algorithms, vol. 17, no. 2, p. 62, 2024. https://doi.org/10.3390/a17020062
- M. Liu, J. Wang, T. Lin, Q. Ma, Z. Fang, & Y. Wu, "An empirical study of the code generation of safety-critical software using llms", Applied Sciences, vol. 14, no. 3, p. 1046, 2024. https://doi.org/10.3390/app14031046
- M. Palkowski and M. Gruzewski, "Gpt-driven source-to-source transformation for generating compilable parallel cuda code for nussinov’s algorithm", Electronics, vol. 13, no. 3, p. 488, 2024. https://doi.org/10.3390/electronics13030488
- B. Torres-Zegarra, W. Rios-Garcia, A. Ñaña-Cordova, K. Arteaga-Cisneros, X. Chalco, M. Ordoñezet al., "Performance of chatgpt, bard, claude, and bing on the peruvian national licensing medical examination: a cross-sectional study", Journal of Educational Evaluation for Health Professions, vol. 20, p. 30, 2023. https://doi.org/10.3352/jeehp.2023.20.30
- D. Cotton, P. Cotton, & J. Shipway, "Chatting and cheating: ensuring academic integrity in the era of chatgpt", Innovations in Education and Teaching International, vol. 61, no. 2, p. 228-239, 2023. https://doi.org/10.1080/14703297.2023.2190148
- C. Awad, "The impact of gb chat on education - a comparative theoretical study", International Journal of Computers and Informatics, vol. 2, no. 6, p. 89-123, 2023. https://doi.org/10.59992/ijci.2023.v2n6p5
- K. Kim, "Study on artificial intelligence(ai) and chat gpt, corruption", The Korea Association for Corruption Studies, vol. 28, no. 2, p. 85-105, 2023. https://doi.org/10.52663/kcsr.2023.28.2.85
- M. Rahaman, M. Ahsan, N. Anjum, H. Terano, & M. Rahman, "From chatgpt-3 to gpt-4: a significant advancement in ai-driven nlp tools", Journal of Engineering and Emerging Technologies, vol. 1, no. 1, p. 50-60, 2023. https://doi.org/10.52631/jeet.v1i1.188
- M. Nyaaba, "Comparing human and ai’s (gpt-4 and gemini) understanding of the nature of science", SSRN Electronic Journal, 2023. https://doi.org/10.2139/ssrn.4661602
- B. Zhang, P. Liang, X. Zhou, A. Ahmad, & M. Waseem, "Demystifying practices, challenges and expected features of using github copilot", International Journal of Software Engineering and Knowledge Engineering, vol. 33, no. 11n12, p. 1653-1672, 2023. https://doi.org/10.1142/s0218194023410048
- Ziegler, E. Kalliamvakou, X. Li, A. Rice, D. Rifkin, S. Simisteret al., "Measuring github copilot's impact on productivity", Communications of the ACM, vol. 67, no. 3, p. 54-63, 2024. https://doi.org/10.1145/3633453
- Солдатенкова, Ю. А. YandexGPT и ChatGPT: характеристика, сравнение и основные отличия нейросетей / Ю. А. Солдатенкова, А. В. Свищев // Моя профессиональная карьера. – 2023. – Т. 3, № 55. – С. 277-284.
- LeetCode - The World's Leading Online Programming Learning Platform. - URL: https://leetcode.com/ (дата обращения: 01.04.2024).