임상 논문의 독자가 논문들을 유효한 것과 유효하지 않은 것으로 구별하는 것을 도와주기 위해 이 도움말을 간단히 정리하였다 .  또한 이것은 치료사가 임상적인 결정을 내리기 위해 정확히 이행된 연구 소견들을 이용하는 방법을 보여준다. 여기서 이용된 접근은 McMaster 대학교의 Clinical Epidemiology & Biostatistic Department 에서 처음으로 개발되었고 , Canadian Medical Association Journal 에 출판 되어진 “사용자 안내서 ” 로부터 많은 부분을 차용한 것이다. 안내서는 “사용자 안내서 ” 로서 증거에 기초한 치료 연구 단체에 의해 계속적으로 개정되었으며 Journal of the American Medical Association 출판 되었다 (Guyatt GH, Rennie D (1993) JAMA 270: 2096-2097). 사용자 안내서는 일반적으로 증거를 기초로 한 치료와 임상 연구에 더 상세한 정보의 출처로 높게 추천된다. 아래에 인용문이 주어졌다.

1. Part I: 이 논문에서 얻어진 결과들이 유효한가?
2. Part II: 이 치료는 임상적으로 유효한가?

1. Part I: 이 논문에서 얻어진 결과들이 유효한가?

저출력 레이저는 외측 상과염에 대해 효과적인 치료인가 ?   신장 프로그램이 뇌졸중에 뒤따른 구축을 예방할 수 있는가 ?의 이용이 수술 후 생기는 회복기 합병증들을 감소할 수 있는 가 ?   Rigourous 는 이런 질문들에 대하여 오직 올바르게 구성되고 , 올바르게 이행된 임상 논문들에 의해서만 제공된다고 답했다 .   불행하게도 논문은 유효한 결론들을 초래하는 잘 수행된 논문들과 유효하지 않은 서투르게 수행된 논문들을 모두 포함한다 .   독자들은 이 둘 사이를 구분해야 할 것이다 .   이 지도서는 타당성을 주는 임상적 논문들의 주요 특징 (혹은 “방법론적 여과기 (methodological filters)” )을 설명한다.

물리치료의 치료방법들의 유효성을 결정하기 위해 대부분의 치료사들은 단순히 특수한 상태를 가진 하나의 대상자를 모으고 , 치료 전과 후의 상태의 심각성을 측정한다 .   만약 치료기간을 동안 향상된다면 , 치료가 효과적이라고 말할 것이다 .   이런 방법을 쓰는 연구자들은 치료의 유효성에 대해 만족할만한 증거 제공이 드물기 때문에 관찰된 향상이 치료로 인해서인지 아니면 자연적 회복 , 통계상의 역행 (사람들이 그들의 상태에 변이성이 원인으로써 단순히 시간이 지남으로써 “극단의 상태 ” 가 낮아지게 되는 통계학적 현상 ), 위약효과 , 혹은 “hawthorne” 효과 (대상자들이 연구자가 무엇을 듣기를 원하는 지를 생각함으로써 향상을 보고한 것 ) 와 같은 무 관계한 변수들에 의한 것인지에 대해 확신하지 못한다 .   연구의 유효함을 위해 이런 위협들을 다루는 만족스러운 유일한 방법은 대조군 (control) 을 가지는 것이다 .   따라서 비교는 치료를 받는 대상자들과 치료를 받지 않는 대상자들의 결과들 사이에서 형성될 것이다.

통제된 연구 논문이란 즉 , 대개 실험의 끝에서 두 그룹 사이의 어떤 차이는 치료가 원인이어야 하기 때문에 무 관계한 변수들은 치료군과 대조군 모두에게 같은 정도로 실행되어져야 한다 .   예를 들자면 , 급성요통의 대부분은 아무런 치료도 하지 않은 경우에도 자연적으로 신속히 해결된다고 널리 알려져 있다 .   그래서 치료과정으로 향상된 대상자들을 단순히 보여주는 것은 유효한 치료 증거가 되지 못한다 .   통제된 연구 논문은 대조군 대상자들보다 치료군 대상자에게 잘 발생하여 더 강한 증거를 구성한다는 것과 향상이 치료가 원인이었다는 것을 보여줘야 한다 .   왜냐하면 자연적 회복이 치료군과 대조군 모두에게 일어날 수 있기 때문이다 . 치료군 대상자의 관찰을 통하여 대상자를 대조군 대상자보다 더 나아지게 하는 자연적 회복보다 나은 어떤 것을 제시하여야 한다 .   통제된 연구 논문에서는 치료를 받지 않는 “대조군 ” 이 필요함을 명심해라 .   가끔 , 통제된 연구 논문에서 보존적 치료를 받은 대조군과 보존적 치료와 함께 치료를 받은 실험군을 비교하기도 한다.

중요한 것은 , 대조군은 치료군과 대조군이 서로 비슷한 무 관계한 변수들의 혼동된 효과에 대해서 보호를 제공한다 .   치료군과 대조군이 결과를 결정하는 데 각 각의 관계가 동일 할 때 (치료가 주어지든지 아니든지 간에 ) 실험자는 논문의 끝에서 두 그룹의 차이가 치료가 원인이라는 것을 확신할 수 있다 .   실제로 이것은 이용할 수 있는 집단에서 치료군과 대조군을 무작위로 배치하는 것에 의해 성취될 수 있다 .   이것은 치료군과 대조군에서 동일한 효과에 대해 가지는 자연적 회복의 범위와 같은 무 관계한 인자를 확실히 한다 .   실제로 , 대상자가 각 군으로 무작위 배치될 때 , 치료군과 대조군 사이의 차이는 오직 치료 혹은 기회를 배제할 가능성이 있다 .   그것은 치료군과 대조군의 비교 능력을 확실히 할 수 있는 단 하나의 방법임을 명심하라 .   무작위배치를 대신할 만족스러운 방법은 없다.

대상자들이 각 군으로 무작위 배치되었다 하더라도 , “관찰자의 선입관 ” 에 의해 왜곡 되지 않은 치료의 효과 (혹은 효과의 부족 ) 를 확인하는 것은 필수적이다 .   이것은 치료의 유효성에 있어서 연구자의 확신이 치료결과의 측정을 왜곡할 수 있는 가능성을 언급한다 .   최선의 방어는 “맹검된 ” 관찰자에 의해 제공된다 . – 결과를 측정하는 사람은 대상자가 치료를 했는지 안 했는지를 모른다는 것을 확인한다 .   일반적으로 환자와 치료사 모두 맹검 하는 것이 바람직하다 .   환자들이 맹검 될 때 , 치료의 뚜렷한 효과는 위약 혹은 hawthorne 효과에 의해 제공된 것이 아니라는 것을 알아야 한다 .   치료에 있어서 치료사를 맹검하는 것은 종종 어렵거나 불가능 하지만 , 맹검을 한 연구들은 치료사에게 사용는 하는 치료를 맹검한다는 것이며 (예를 들어 , 저출력 레이저 논문에서 레이저 인지 색광을 내는 장치인지 치료사는 여기에 대한 정보가 없는 것과 같이 ), 치료효과가 치료 그 자체에 의한 것이지 치료와 함께 치료사의 열정이 제공되지 않았음을 알아야 한다.

또한 극소수의 대상자들만이 연구과정 동안 연구에서 탈락하는 것 (“탈락자 ”) 이 중요하다 .   탈락자들은 연구의 소견을 심각하게 왜곡할 수 있기 때문이다 . 만약 대조군 대상자들이 연구 기간을 거치면서 악화되어 치료를 위해 떠난다면 진실한 치료 효과는 위장 되어 질 것이며 , 이것은 대조군의 평균적 결과를 실제보다도 더 좋게 만들 것이다 .   반대로 , 만약 치료가 대부분의 대상자들의 상태를 악화시키고 치료군의 대상자들이 연구과정 중 떠난다면 이는 치료가 실제보다도 더 효과적으로 보일 것이다 .   때문에 이런 탈락 원인은 임상 논문의 유효성에서 불확실성을 나타낸다 .   물론 더 많은 탈락자는 불확실성이 더욱 커진다 . – 눈대중으로 연구 대상자들 중에서 15%보다 더 많이 탈락한다면 연구가 심각하게 무효가 될 잠재성이 있다 .   어떤 연구자들은 단순히 탈락자 수를 보고하지 않는 다 . 무죄가 주어질 때까지 유죄의 설정된 과학적 원리를 지키는 것은 이런 연구들에서의 무가치한 잠재성을 고려할 수 있기 때문이다.

요약한다면 , 가치 있는 임상논문은:

· 대상자는 치료군과 대조군에 무작위로 배치하고
· 관찰자 맹검 되어야 하며 , 그리고 되도록이면 환자와 치료사도 맹검 하며
· 최소한의 탈락자만을 가진다

다음 기회에 당신이 물리치료의 치료법에 관한 임상 논문을 읽을 때 , 당신 스스로에게 논문이 이러한 모양을 가졌는지 질문하여 보라 .   일반적으로 , 이러한 표준을 만족하지 못하는 그런 논문들은 무가치하며 치료의 유효성 (혹은 무효성 ) 의 강한 증거를 구성하지 못한다 .   이러한 표준을 만족하는 그런 논문들을 신중히 읽어야 하며 기억하기 위해 암기해야 한다!

만약 당신이 논문의 유효성 평가에 대해 더 읽고 싶다면 다음의 논문을 참고하라:
Guyatt GH, Sackett DL, Cook DJ (1993). 의학논문 사용자 안내서 :   II. 치료 혹은 예방에 관한 기사를 이용하는 방법 :   A.   이 연구의 결과가 가치 있는 가 ? JAMA 270: 2598-2601.

2. Part II: 이 치료는 임상적으로 유효한가 ?

표준 목록이 제시된 앞 부분에서는 독자가 유효한 연구와 유효하지 않은 연구들을 구분해서 이용할 수 있게 한다 .   방법론적 여과기의 대부분을 만족하지 못하는 연구들은 일반적으로 우선적으로 무시된다 .   이 부분에서는 치료사가 방법론적 여과기의 대부분을 만족하는 그런 눈문들을 해석하는 방법을 고찰한다 .   이것은 즉 , 치료의 만족할 만한 의미 있는 효과의 증거를 단순히 찾는 것 만으로는 충분하지 않다는 것이다 .   당신은 논문이 의미있는 결과들을 측정하고 , 치료할 가치가 있을 만큼 충분히 큰 치료의 긍정적인 효과들로 만족할 필요가 있다 . 치료에 있어서 해로운 효과들은 작거나 좀처럼 일어나지 않아서 치료가 해로움보다는 유익함을 준다 . 마지막으로 치료는 비용면에서 효과적이어야 한다.

물론 , 이용할 수 있는 연구에 대해서는 치료의 의미 있는 효과들을 조사해야 한다 .   이것은 결과가 유효한 방법으로 측정될 수 있음을 의미한다 .   일반적으로 , 우리는 항상 치료가 환자의 필요를 만족하는 지 어떤지에 대해 치료의 주요한 가치를 판단하기 때문에 , 측정 결과들은 환자에게 의미가 있어야만 한다 .   더불어 저출력 레이저가 세로토닌 농도를 낮춘다는 것을 보여주는 논문은 통증이 감소되는 것이 보여지는 논문보다 적게 이용되며 , 운동 훈련이 경직을 감소시킨다는 논문은 기능적 독립이 강화되는 것을 보여주는 것보다 더 적게 이용된다.

치료의 효과 범위는 명백하게 중요하지만 , 가끔 간과 되어진다 .   아마도 임상적 논문의 대부분의 독자들이 “통계적인 중대성 ” 과 “임상적인 중대성 ” 사이의 특성을 평가하지 않기 때문일 것이다 .   혹은 아마도 그것은 “p<0.05” 이거나 그렇지 않든지 간에 임상적 논문의 대부분의 저자들의 선입관을 반영할 것이다 .   통계적인 중요성 (p<0.05)은 기회 자체로 인한 효과보다 치료효과가 더 큰지 어떤지를 반영한다 .   그것은 중요하지만 (우리는 명백한 치료효과가 단지 기회에서 기인한 결과가 아니라는 것을 알 필요가 있다 ), 그것은 실제적으로 치료효과가 얼마나 큰지에 대하여 우리에게 말해 주지는 않는다 .   치료효과의 최상의 추정평가는 그룹간의 평균적인 차이이다 .   더불어 , 만약 가설을 근거로 한 논문 즉 견관절 통증에 대한 mobilisation 의 효과를 10 cm 시각척도로 측정하여 평균적으로 치료군은 4 cm 그리고 대조군은 1 cm 감소한다고 보고 된다면 , 치료 효과의 의미에 대한 최상의 추정평가는 시각척도에서 3 cm 의 감소이다 (4 cm – 1 cm = 3 cm 에 의해 ).   또 다른 가설을 근거로 한 논문은 운동전의 근 신장은 대조군에서의 4% 와 비교하여 신장그룹에서 2%의 환자가 손상된다고 보고 할 것이다 .   이 경우에 최상의 증거는 신장이 손상의 위험을 2% 감소시킨다는 것이다 (4%-2%=2%). 임상 논문의 독자들은 임상적으로 가치가 있을 만큼 효과가 충분히 큰지를 결정할 수 있는 보고 되어 진 효과 크기를 살펴 볼 필요가 있다 .   환자들은 종종 회복을 기대하며 치료를 받으러 온다는 것을 기억하라 (물론 이런 일반적 법칙이 임상에서의 모든 영역에 적용되는 것은 아니다 ) – 대부분은 오직 작은 효과만 있는 치료에는 관심이 없다.

치료 효과의 크기에서 볼 수 있는 중요한 미묘한 차이가 있다 .   그것은 양분된 결과로 측정되어 연구에 적용된다 (양분된 결과들은 죽거나 살았거나 , 손상되거나 손상되지 않거나 , 가정간호를 허용하거나 허용하지 않거나 하는 것으로 둘 중의 하나가 가치가 있다 ; 이것은 0 에서 10을 포함하여 , 그 구간에서 어떤 가치를 가지는 통증의 시각척도 측정과 같은 변이성들과는 대조된다 .)   양분된 결과들로 측정된 많은 연구들은 차이에 의하기보다는 비율에 의한 치료효과를 보고 할 것이다 . (비율은 때로는 “관련된 위험 ” 혹은 “불평등율 (odd ratio)” 혹은 “위험율 ” 로 명시되지만 , 다른 이름으로 불리기도 한다 .) 이런 방식으로 표현된 , 가설을 근거로 한 신장연구에 대한 소견들은 손상위험은 50% 감소 한다고 보고 되어진다 (2% 는 4% 의 반이므로 ). 일반적으로 비율로 치료 효과를 표현하는 것은 치료효과가 더 크게 나타나게 만든다 . 더 나은 측정은 두 그룹 사이의 차이다 . (실제로 , 사용하는 측정의 대부분은 차이와는 반대일 것이다 .   이것은 때때로 “치료에 필요한 숫자 (Number Needed to Treat)” 라고 불려지는데 왜냐하면 그것은 평균적으로 , 얼마나 많은 환자들이 하나의 역행된 사건을 예방하기 위해 치료를 필요로 한다는 것을 우리에게 말해주기 때문이다 .   – 신장 예에서 NNT 는 1/0.02=50, 그래서 신장을 한 50명의 대상자의 1명에 대해서 손상이 예방되어진다 .).

많은 연구들은 치료의 해로운 효과를 보고 하지 않는다 .   (즉 , 치료의 “부작용 ” 혹은 “합병증 ”) 그것은 불행한 것이다 .   왜냐하면 , 해로운 효과들에 대한 보고 결여는 종종 치료가 해롭지 않다고 해석되어 지지만 명백하게도 그렇지는 않다 .   Glaziou 와 Irwig (BMJ 311: 1356-1359, 1995) 는 일반적으로 치료효과는 대체로 가장 심각한 환자들에게 주어졌을 때 나타난다고 주장하였다 .   (예를 들면 , bronchial suction은 적은 가래를 보유한 뇌 손상 환자에게서 보다는 많은 가래를 유지하는 뇌 손상 환자에게서 호흡기 정지 위험에서 큰 감소를 일으킨다고 기대된다 .) 대조적으로 , 치료의 위험들 (이런 경우는 , 뇌 내압 상승으로 인한 ) 은 비교적 일정하고 상태의 심각성과는 관계없는 경향이 있다 .   더불어 치료는 심각한 상태를 가진 환자에게 적용했을 때 잠재력 있는 심각한 부수적인 효과를 가지는 치료를 주는 것을 꺼려해야 한다.

임상에서, 해로운 영향이 드물게 발생하는 경향이 있고, 그리고 대부분의 연구는 해로운 영향이 발생될 때 그것을 찾아 낼 수 있을 만큼 조사 대상 (sample size)이 충분하지 못하기 때문에 임상 연구를 통하여 해로운 영향을 찾아내는 것은 종종 어렵다.   또한, 이행된 치료에 대해서는 잘 이행되어진 무작위 통제 연구 논문들 일지라도 해로운 사건이 지나치게 발생하지 않는다는 것을 판명하기 위하여 치료한 환자들의 큰 그룹 (cohorts)에 뒤따르는 커다란 규모의 “추적 (monitoring)” 연구에 중요한 역할이 있다.   그런 연구들이 수행 되어질 때까지, 치료사는 환자에게 잠재적인 해로운 치료법을 적용하는 데 대해 조심해야 할 것이며, 특히 그 치료법에 참여하고 있는 환자가 조금도 해를 입지 않도록 해야 한다.

비판적 평가에서 억지이론의 임시 단계 (extra level) 는 임상적 논문에 의해 제공된 효과크기의 추정평가에 대한 부정확한 정도에서의 고려를 수반한다.   논문은 어떤 인구를 대표한다고 기대되는 대상자들의 표본으로 수행 되어진다. 이것은 치료효과의 크기를 추정평가하기 위해 (불완전하지만 정확한) 실험을 위해 최선을 다한다는 의미이다.   많은 수의 대상자들을 두고 하는 임상 논문은 적은 숫자의 논문보다 치료효과의 더 나은 (더욱 정확한) 추정평가를 할 수 있다.   이상적인 독자들은 어떤 임상 논문을 결정할 때 추정평가의 부정확성의 정도에 대해 고려해야 한다.   왜냐하면 이것은 종종 특별한 논문으로부터 유출된 결과들에 부속하는 확실성의 정도에 영향을 미치기 때문이다.   만약 이러한 것들이 그 논문 보고에서 명백히 공급되지 않는 다면, 이것을 하는 최상의 방법은 그 치료효과의 크기의 추정평가에 대해서 신뢰차를 계산하는 것이다. 효과크기의 일반적인 측정들에 대해 신뢰차를 계산하고 해석하는 방법에 대한 지도서는 최근에 준비되고 있다.   그 동안, 관심 있는 독자는 Slim, J 와 Reid, N. 에게 조언을 구할 수 있다 (1999).   신뢰차로 인한 통계적인 결론: 해석과 이용에서의 논점. Physical Therapy, 79, 186-195. 신뢰차에 대해 자신이 있는 (죄송) 독자들은 여기를 clinic 함으로써 PEDro의 신뢰차 계산기를 다운로드하는 것이 유용하다는 것을 알 수 있을 것이다.   그 계산기는 Excel spreadsheet 의 형태이다.].

치료의 유용성을 결정하는 마지막 부분은 그 치료가 비용면에서 효과가 높은 지 아닌 지를 결정하는 것을 포함한다.   이것은 특히 건강관리에 대해 국고 지원이 되거나 보조를 받을 때 중요하다.   건강관리에 모든 기술 혁신을 투자할 만큼 충분한 자금은 절대로 있을 수 없다 (아마도 심지어 모든 좋은 기술혁신조차도).   따라서 어떠한 치료비용도 그것에 사용된 돈이 다른 건강관리 형태로 사용 될 수 없다는 것이다.   한정된 자금의 분별 있는 배당은 달러당 이익이 가장 큰 곳에 자금을 사용하는 것을 포함한다.   물론, 치료가 효과적이지 않다면 비용효과는 없어야 한다.   그러나 효과적인 치료들은 비용효과가 있어야 한다.   비용 효과성을 결정하는 데 사용된 방법들은 이 저자의 전문 영역 밖의 것이며, 그것은 아마도 더 신뢰할 만한 것을 따르는 것이 좋을 것이다.   만약 관심이 있다면 다음을 읽으면 좋을 것이다:

Drummond MF, Richardson WS, O’Brien BJ, Levine M, Heyland D (1997).   의학문헌에 대한 사용자 안내서: XIII.   임상 실무의 경제적 분석에 대한 기사를 어떻게 이용할 것인가: A. 연구의 결과들은 타당한가? JAMA 277: 1552-1557.
O’Brien BJ, Heyland E, Richardson WS, Levine M, Drummond MF (1997). 의학문헌에 대한 사용자 안내서: XIII. 임상 실무의 경제적 분석에 대한 기사를 어떻게 이용할 것인가: B. 결과는 무엇이며, 내가 환자를 치료함에 있어서 그것들이 어떻게 도움이 될 것인가? JAMA 277: 1802-1806.

이 단락을 요약하면:
통계학적 의의가 임상적 유용성이라고 할 수는 없다.   임상적으로 유용하기 위해서는, 치료는 반드시:

· 환자가 관심이 있는 측정 결과에 영향을 미쳐야 한다
· 시간을 투자할 만큼 충분히 큰 효과가 있어야 한다
· 나빠지지 않고 더 좋아져야 한다
· 비용 효율적이어야 한다

만약 당신이 효과 정도를 판단하기 위해 더 읽기를 원한다면, 다음을 참고 할 수 있다:

Guyatt GH, Sachett DL. Cook DJ (1993).   의학 문헌에 대한 사용자 안내서: II.   치료나 예방에 대한 기사를 어떻게 이용할 것인가: B. 결과는 무엇이며, 그것들은 내가 환자를 치료하는데 있어 어떤 도움이 될 것인가? JAMA 271: 59-63.

최근의 저자들에 의한 두 개의 다른 (덜 권위적인) 자료들은:

Herbert RD (2000).   임상실험들의 보고로부터 치료효과를 어떻게 평가할 것인가.
I: Continuous outcomes. Australian Journal of Physiotherapy 46: 229-235.

Herbert RD (2000). 임상실험들의 보고로부터 치료효과를 어떻게 평가할 것인가.
II: Dichotomous outcomes. Australian Journal of Physiotherapy 46: 309-313.

문의처 PEDro@george.org.au

번역 :이 해정 (시드니 대학교 ,물리치료학과 ,박사과정 ), 배 성수 (대구 대학교 ,물리치료학과 ,교수 )