인공지능 만들기

직접 개발로 이어지는 계획

처음에는 장난감처럼 작게 만들고, 원리를 이해한 뒤 점점 키웁니다.

1

내가 배우고 싶은 주제의 문장을 모읍니다. 처음에는 10문장만 있어도 됩니다.

훈련 문장 시작 문장

선택 방식 샘플링 온도 1

표는 1의 관찰 빈도를 보여줘요. 온도는 추첨 을 바꾸며 학습 횟수나 사실 정확성을 바꾸는 장치는 아니에요.

생성된 문장 방식을 고르고 다시 생성을 누르세요.

확률은 이렇게 계산해요

앞 단어 다음 단어 이어진 횟수 뒤에 온 전체 횟수 확률

시작 문장의 마지막 단어 뒤에 이어진 후보가 아직 없습니다.

다음 단어 후보

백분율은 반올림하므로 표시 합계가 100%와 조금 다를 수 있어요.

어떤 단어 뒤에 무엇이 몇 번 왔을까요?
앞 단어다음 단어

단어가 많아 처음 나온 8개만 보여요

핵심 개념

문장 끝을 포함해 이어지는 횟수를 세어요. 후보의 확률은 그 후보 횟수를 선택한 단어 뒤의 전체 횟수로 나눈 값이에요. 은 이 작은 표를 저장하는 데 그치지 않고 를 학습해요.

신경망 언어모델은 학습 예제에서 숫자 가중치를 배워요. 생성할 때는 가중치와 주어진 으로 후보 점수를 계산해요. 인터넷 문장을 그대로 찾아 꺼내거나 바로 앞 단어의 횟수만 세는 방식은 아니에요.