2. Python/파이썬 경마 분석

      outlier(이상치, 아웃라이어) 제거하기

      이상치들은 특정 범위에서 너무 벗어나 있어 데이터 분석이나 모델링의 결과에 커다란 영향을 미칩니다. 그래서 outlier, 이상치를 제거하는 작업을 해야 하는데요. 눈으로 일일이 보고 제거할 수도 있겠지만, 변수의 수가 너무 많으면 이 또한 쉬운 일이 아닙니다. 아웃라이어를 제거하는 방법과 기준도 다양하고, 보정하는 방법에서 삭제하는 방법까지 처리하는 방법도 다양합니다. 파이썬 sklearn 패키지에서 제공하는 이상치 제거방법을 알아보았습니다. HTML 삽입 미리보기할 수 없는 소스 sklearn 패키지의 documenation에 가면, novelty and outlier detection 섹션에서 4가지의 방법을 설명하고 있습니다. novelty detection은 새로운 값이 들어왔을 때, 그 값이 ..

       2017.08.22
    3. Python/파이썬 경마 분석

      #1-2 경마 데이터 수집하기 - 렛츠런 파크 사이트 보기

      데이터를 수집하기 위해서는 크롤링(Crawling)이라는 것에 대해서 알아야 합니다. 왜냐하면 렛츠런(경마장) 사이트에 들어가서, 데이터를 그냥 다운받을 수 있는 것이 아니기 때문에 그렇습니다. 하루하루의 경기결과나 출전 정보는 웹사이트에서 확인할 수 있지만, 우리가 분석을 위해 원하는 CSV나 엑셀 파일의 형태로는 데이터를 제공하고 있지 않습니다. 크롤링은 이러한 웹사이트의 정보를 긁어와 내 PC에 저장하는 기술입니다. 듣기만 하면 굉장히 어려워 보이지만, python이라는 언어를 통해서 쉽게 할 수 있습니다. python에 대한 자세한 설명은 웹에 많이 있으니 생략하고, 바로 crawling 하는 방법으로 넘어가도록 하겠습니다. 크롤링은 크게 3가지 단계로 진행이 됩니다. (이 단계는 그냥 편의상 제..

       2017.08.11
    4. Python/파이썬 경마 분석

      #1-3 경마 데이터 수집하기 - 크롤링을 위해 필요한 프로그램

      크롤링을 하기 위해서는 코딩을 해야 한다. 코딩을 하기 위해서는 프로그래밍 언어가 필요하다. 프로그래밍 언어에는 여러가지가 있지만, 여기서는 파이썬(python)을 이용해서 크롤링을 할 계획이다. 파이썬은 인터프리터 방식의 언어로 이해하기 쉽고, 직관적이다. 인터프리터 방식의 언어란 말은 프로그램을 한 줄씩 실행할 수 있다는 말이다. 단계별로 실행해보고 에러를 확인할 수 있어 사용하기 편리하다. 필자는 아래와 같은 환경에서 작업을 시작했다. - 운영체제: IOS(맥용) - 파이썬 버전: 아나콘다 파이썬 3.5 버전 - 편집기: 파이참(pycharm) '아나콘다'는 파이썬 배포판 중의 하나라 데이터 분석과 관련된 패키지들이 포함된 버전이다.파이썬의 강점 중의 하나는 이미 배포된 패키지를 이용하여, 원하는 ..

       2017.08.11
    5. Python/파이썬 경마 분석

      #2-4 나만의 레이팅 시스템 만들기(elo rating)

      렛츠런파크의 레이팅 시스템은 전체 말에 대해 점수를 메기는 시스템입니다. 현재 마사회에서도 레이팅 시스템을 운영하고 있고, 이는 경주성적, 착차, 편성강도 등 여러가지를 고려해서 부여한다고 합니다. 레이팅 시스템 중에서 제일 유명한 것은 엘로 레이팅 시스템(ELO rating system)입니다.이 시스템은 헝가리 출신인 엘뢰 아르파드 전 미국 마케트대 물리학과 교수가 제안한 시스템으로, 체스 선수들의 레이팅을 부여하기 위해 고안하여 사용되었고, 현재는 컴퓨터 게임의 래더 시스템에서 사용자 실력을 측정할 때 많이 쓰인다고 합니다. 이 시스템은 애초에 체스 선수를 대상으로 제안한 시스템이다보니, 1:1 경기에 적용되는 시스템이지만, 여기저기 찾아보면 경마와 같이 다수의 사람들이 겨루는 경기에도 엘로 시스템..

       2017.08.11
    이전 1 ··· 222 223 224 225 226 다음

    티스토리툴바