728x90 전체 글427 LLM에서 padtoken을 eostoken으로 사용하는 이유 LLM 학습코드를 보면 다음과 같은 코드를 흔하게 볼 수 있다.from transformers import AutoTokenziertokenizer = AutoTokenizer.from_pretrained(model_name, padding_side="left")tokenizer.pad_token = tokenizer.eos_token 왜 pad_token을 eos_token으로 사용할까?? 이는 메모리 절약 및 모델의 일관성 유지 때문이라한다. pad_token: 시퀀스 길이를 맞추기 위해 추가하는 토큰. 일반적으로 학습 과정에서 무시됨eos_token: 시퀀스의 끝을 나타내는 토큰으로, 디코더모델에서 중요하게 사용 (1) 메모리 절약LLM에서는 거대한 단어 사전을 사용하므로 pad_token을 따로.. 2025. 3. 20. [python] 파이썬에서 제곱사용할 시 pow(), math.pow(), ** type 차이 파이썬을 사용할 때 제곱을 표현하는 방법은 여러가지가 있다. math.pow(2,3)pow(2,3)2**3 정수형 숫자의 거듭제곱에서 math.pow만 float 형태로 출력# pow 사용print(pow(2,3)) # 8# math.pow 사용import mathprint(math.pow(2,3)) # 8.0# ** 사용print(2**3) # 8 Float 숫자의 거듭제곱에서 모 float 형태로 출력# pow 사용print(pow(2.0,3)) # 8.0 # Time: 2.384185791015625e-05import math# math.pow 사용print(math.pow(2.0,3)) # 8.0 # Time: 1.049041748046875e-05# ** 사용print((2.0)**3) # 8... 2025. 3. 17. [python] 2차원 리스트 원소 여러개 수정 주사위 움직임으로 배열 변경 될 때 알고리즘 짜기주사위가 회전하여 숫자의 위치가 변할 때 리스트의 여러 원소를 변화 시켜야한다.이 때 리스트 원소를 수정할 때 편한 방법을 정리한다.# 주사위 아래에서 봤을 때 숫자들 (맨 위에 숫자를 제외) -> 즉 6이 주사위 아래 숫자일 때 이야기dice = [[0,5,0],[4,6,3],[0,2,0]]def cur_eyes(): return dice[1][1]def move(d): if d == 'L': dice[1] = [7-cur_eyes(), dice[1][0], dice[1][1]] elif d == 'R': dice[1] = [dice[1][1], dice[1][2], 7-cur_eyes()] elif d ==.. 2025. 3. 16. [Error] E: Package 'git' has no installation candidate 때로 서버에서 docker container를 만들고 실행할 때 git에 대한 error가 나기도 합니다.단순하 'apt-get install git' 을 통해 설치를 하려했지만 이는 다음과 같은 에러를 발생시킵니다.이는 ubuntu버전이 이 git 설치를 지원하지 않는 경우라고 하는데 이 때 apt-≥tupdateapt-≥t∈stallgit 다음 업데이트를 통해 해결할 수 있습니다. 2025. 2. 21. 이전 1 2 3 4 ··· 107 다음 728x90
