107일차 코딩학원

6/26 공부 내용 정리

1. 인공신경망은 다층 퍼셉트론으로 이루어져 있으며 은닉층이 많다. black box이론. 인공신경망을 이용하여 컴퓨터는 인간처럼 미래를 예측하는 기능을 수행하고 답을 내놓는다. 이 과정은 데이터기반으로 수행된다. 

 

2. 노드와 에지가 뭘까? 

- 노드(Node)는 그래프에서 데이터를 나타내는 개별적인 요소

- 에지(Edge)는 노드들 간의 관계를 나타내는 링크나 연결선

 

3. Relu함수?

내 생각에 Relu 함수는 뉴런의 수초 같은 느낌이다. 수초는 절연체다. 뉴런이 수초가 있으면 도약 전도를 하기 때문에 신경 전달 속도가 빠르다. 

 

ReLU 함수는 입력이 0보다 크면 그대로 반환하고, 0 이하인 경우에는 0으로 변환하는 간단한 함수다. 즉, 음수 입력에 대해 비선형성을 가지지 않고 0으로 수렴하는 특성을 갖는다. 이는 학습 동안 그래디언트 소실 문제를 줄여주는 효과가 있다. ReLU는 계산이 간단하고 빠르며, 이론적으로는 어떤 신경망 모델에도 적용할 수 있다.

하지만 ReLU는 음수 입력에 대해 해당 뉴런의 활성화를 완전히 차단하는 단점이 있다. 이로 인해 "dying ReLU" 문제가 발생할 수 있으며, 이는 학습 동안 해당 뉴런이 비활성화되어 역전파 과정에서 그래디언트가 전달되지 않는 현상입니다. 이는 모델의 표현 능력을 제한할 수 있다.

 

4. MNIST 데이터베이스 - 손으로 쓴 0~9까지 숫자들로 이루어진 대형 데이터

5. 데이터를 학습하기 위해서 전처리를 해줘야 함. ex: 2차원 배열 → 1차원 배열로 변환 / float32로 변경 및 데이터 펼치기 / 인코딩 등등 할 일이 많다. 

 

6. 원핫인코딩 : 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 벡터 표현 방식

왜 쓰는가? one_hot은 다중 클래스 분류 문제를 해결하기 위해서다. 신경망 모델에서는 다중 클래스 분류를 수행하기 위해서는 출력값 적절하게 설정해야 함

 

7. 학습하면 오차율이 줄어들어야 한다. 경사하강법을 실행. 

 

8. 학습률, 학습 횟수, 배치 개수 설정해줘야 함. 

learning_rate = 0.001	# 학습률
num_epoch = 30	# 학습 횟수
batch_size = 256	# 배치 개수

 

9.  from_tensor_slices() - 텐서들을 슬라이스 하여 데이터셋을 생성하는 함수 

 

10. 가중치와 편향은 인공신경망의 핵심 구성 요소로, 입력 데이터를 처리하고 다음 층으로 신호를 전달하는 역할을 한다. 가중치와 편향은 학습 과정에서 업데이트되어 최적의 값을 찾게 되며, 신경망의 출력을 결정하는데 중요한 역할을 한다. 

 

가중치와 절편을 보정해야 하기 때문에 학습하면서 계속 바뀜. 

 

11. __call__ 함수 : __init__은 인스턴스 초기화를 위해 사용되고, __call__은 인스턴스가 호출되면 실행되는 함수다.