• 34ºc, Sunny

DeepSeek는 6710억 개의 매개 변수를 가진 Prover-V2 모델을 출시합니다.

DeepSeek은 오늘 AI 오픈 소스 커뮤니티 포옹 페이스의 DeepSeek-Prover-V2-671B라는 새로운 모델을 출시했습니다. DeepSeek-Prover-V2-671B는 보다 효율적인 안전 텐서 파일 형식을 사용하고 다양한 계산 정확도를 지원하므로 모델을 더 빠르고 덜 리소스로 교육하고 배포할 수 있는 것으로 알려졌습니다. 매개 변수는 6710억 개 또는 작년에 출시된 Prover-V1.5 수학 모델의 업그레이드된 버전에 도달합니다. 모델 아키텍처에서 모델은 DeepSeek-V3 아키텍처를 사용하고 MoE(하이브리드 전문가) 모드를 채택하며 트랜스포머 레이어 61개, 숨겨진 레이어 7168개를 가지고 있습니다. 동시에 초장기 컨텍스트를 지원하며 최대 위치 임베딩이 16만3800개에 달해 복잡한 수학적 증명을 처리할 수 있으며 팬티 양자화를 채택해