https://arxiv.org/abs/2307.09009
How is ChatGPT's behavior changing over time? (Lingjiao Chen, Matei Zaharia, James Zou)
ChatGPT/GPT-4가 시간이 지남에 따라 성능이 떨어지고 있다는 추측에 대한 결과. 실제로 3월과 6월 모델이 수학 문제 등에 대해서 성능이 꽤 다르군요. (낮아졌습니다.) ChatGPT-3.5는 꽤 향상되기도 했는데...이상한 패턴이네요.
OpenAI 쪽에서는 성능이 나아지면 나아졌지 열화되지는 않았다고 했는데 그와 어긋나는 증거네요. 성능을 유지하면서 유지보수를 해나가는 작업이 까다롭다는 것을 보여주는 것인가 싶기도 합니다.