OpenAI는 r/ChangeMyView subreddit을 사용하여 AI 추론 모델의 설득 능력을 측정하는 테스트를 만들었습니다. 회사는 금요일에 새로운 'reasoning' 모델 인 o3-mini과 함께 발표 된 시스템 카드 - AI 시스템이 작동하는 방식을 개요로 설명하는 문서 -에서이를 공개했습니다.
수백만 명의 Reddit 사용자가 r/ChangeMyView의 회원이며, 이 곳에서 핫 테이크를 게시하여 주제에 대한 다른 관점을 배우려고합니다. 이에 대한 응답으로, 다른 사용자는 원래 게시자가 잘못되었다고 설명하는 설득력있는 논거로 회신합니다.
이 subreddit은 OpenAI와 같은 기술 회사들이 고품질 인간 생성 데이터로 AI 모델을 교육하려는 '금괴'와 같은 Reddit 포럼들 중 하나입니다.
OpenAI는 r/ChangeMyView의 사용자 게시물을 수집하고 AI 모델에 댓글을 작성하도록 요청하며 Reddit 사용자의 의견을 바꿀 수있는 닫힌 환경에서이를 표시합니다. 그런 다음 회사는 이러한 응답을 테스터에게 보여주고 그 논거가 얼마나 설득력이 있는지 평가 한 후 OpenAI는 동일한 게시물에 대한 인간의 답변과 AI 모델의 답변을 비교합니다.
ChatGPT 제작자는 Reddit와 컨텐츠 라이센싱 계약을 맺어 Reddit 사용자 게시물을 훈련하고 이러한 게시물을 제품 내에서 표시할 수 있습니다. OpenAI가이 컨텐츠에 대해 얼마나 지불하는지는 알 수 없지만 구글은 이와 유사한 계약에 따라 Reddit에 매년 6,000 만 달러를 지불하는 것으로 알려져 있습니다.
그러나 OpenAI는 TechCrunch에게 ChangeMyView를 기반으로 한 평가가 Reddit 거래와 상관이 없다고 말했습니다. OpenAI가 subreddit 데이터에 액세스하는 방법은 확실하지 않으며 회사는이 평가를 공개하는 계획이 없다고합니다.
OpenAI의 ChangeMyView 벤치마크는 새로운 것이 아닙니다 - o1 평가에 사용되었습니다 - 그러나 AI 모델 개발자에게 고도의 인간 데이터가 얼마나 유용한지 및 기술 회사가 데이터 세트를 얻는 방법에 대한 모호한 방법을 강조합니다.
Reddit는 TechCrunch의 요청에 신속히 응답하지 않았습니다.
Reddit는 몇 가지 AI 라이센스 계약을 맺은 반면, 여러 AI 기업이 지불없이 해당 사이트에서 데이터를 수집하도록 비난 받았습니다. Reddit CEO 스티브 허프먼은 지난 해 The Verge에 말하면 마이크로소프트, Anthropic 및 Perplexity가 그와 협상하지 않고 차단하는 것이 '이 회사들을 차단하는 것이 실제로 '머리 아픈 일'이 되었다고 말했습니다.
특히 OpenAI는 ChatGPT를 개선하기 위해 웹 사이트, 포함하여 여러 소송에서 웹 사이트를 부적절하게 수집했다는 비난을 받았습니다. 뉴욕 타임스.
ChangeMyView 벤치마크를 통한 성능 측정 결과, o3-미니는 o1 또는 GPT-4o보다 큰 차이를 보이지 않는 것으로 나타납니다. 그러나 OpenAI의 최신 AI 모델은 r/ChangeMyView subreddit의 대부분의 사람보다 설득력있어 보입니다.
'GPT-4o, o3-mini 및 o1은 모두 인간의 상위 80-90 % 범위 내에서 강력한 설득 능력을 나타냅니다,'라고 o3-mini의 시스템 카드에서 OpenAI는 말했습니다. '현재 우리는 모델이 인간보다 훨씬 우수하게 수행되거나 명확한 초인간적 성능을 볼 수 없습니다.'
OpenAI의 목표는 초현실적인 AI 모델을 만드는 것이 아니라 AI 모델이 너무 설득력을 획득하지 않도록하는 것입니다. 추론 모델은 설득과 속임수에 대해 상당히 뛰어나기 때문에 OpenAI는이를 해결하기위한 새로운 평가와 안전장치를 개발했습니다.
이 설득 테스트를 주도하는 두려움은 AI 모델이 사용자를 매우 잘 설득 할 경우 위험할 수 있다는 것입니다. 이론적으로, 고급 AI가 자체 일정을 실행하거나 그것을 제어하는 사람의 일정을 따르도록 허용 할 수 있습니다.
공개 인터넷의 대부분을 수집하고 다른 데이터를 라이센스하는 데 시간을 들이면서도 ChangeMyView 벤치마크는 AI 모델 개발자가 여전히 모델을 테스트하는 고품질 데이터 세트를 찾는 데 어려움을 겪고 있다는 것을 보여줍니다. 그러나 그것을 얻는 것은 말로만 쉽습니다.
TechCrunch는 AI에 초점을 맞춘 뉴스 레터를 제공합니다! 여기를 클릭하여 매주 수요일마다 인박스에서 받아보세요.
