#scaling_laws

How much do language models memorize?

LLM의 기억력, 숫자로 측정할 수 있을까? 파라미터당 3.6비트의 비밀 - 정보 이론의 압축 원리로 언어모델의 기억 용량을 정량화하다