멀티미디어의 신호처리 기본 이론

• 멀티미디어에서의 신호처리란?
  • 신호란?
    • 정보를 전달하는 파형.
    • 대표적인 예 : 오디오, 음성, 영상, 레이더……..
  • 신호처리란?
    • 신호를 처리하는 방법 및 알고리즘
  • 데이터 압축
    • 무손실 압축
      • 복원시 원본데이터로 완전하게 재생시키는 것.
    • 손실 압축
      • 복원시 눈이나 귀가 거의 느낄 수 없을 정도의 오차를 허용하여 압축률을 높이는것
• 소리의 특성
  • 주기(T) = ,주파수 =
  • Formant란?
    • 발성기관에서의 일어나는 공진 주파수이며 기본주파수(F0) 라고도 한고, 고조파(harmonics)를 F1,F2,F3 이라고 부른다.
    • 모음 구별에 결정적인 영향을 미친다.
    • 스펙트럼 중 가장 큰 값을 갖는 주파수 범위를 의미하는 것으로 Formant가 어느 주파수 대에 형성되어 있는 가에 따라 모음을 인식 한다는 것으로 알려져 있다.
    • 몇 개의 큰 피크값 = 포먼트
    • Formant는 한 주파수에서만 발생하는 것이 아니므로 발생순서에 따라 1차 Formant, 2차 formant, 3차 formant…..라 부른다.
    • 낮은 주파수의 첫번째 나타나는 피크값을 1차 Formant, 다음을 2차 formant, 3차 formant라 부른다.
    • Formant의 정보를 저장하여 유사한 형태의 formant를 갖는 소리를 동일한 소리로 인식한다.
    • Formant를 이용해 음성 인식, 음성 압축, 음성 합성 등에서 사용될 수 있는 기본 특성이다.
      •  
  • Picth란?
    • 주기적인 파형의 반복 주기를 picth라고 한다.

• Doppler 효과란?
  • 소리의 발생원이 움직일 때 소리의 주파수가 달라지는 현상.
  • 대표적인 예 : 건널목에서 울리는 경적 소리, 주파수
• Masking 효과?
  • a라는 소리를 듣고 있을 때 다른 b소리를 더 세게 가하면 a 소리가 들리지 않게 됨.
  • 주파수 마스킹은 특정 주파수 성분 때문에 작은 값을 갖는 인접주파수의 소리를 듣지 못하게 되는 현상.

 

• 오디오 신호의 표본작업
  • 2진수를 사용하는 컴퓨터에서 데이터를 처리하기 위해선 sampling,quantization 단계를 거치게 된다.
  • ADC(Analog to digital Converter), DAC(Digital to Analog Converter)에 의해서 사용된다.