1. Python/파이썬 경마 분석

      #1-2 경마 데이터 수집하기 - 렛츠런 파크 사이트 보기

      데이터를 수집하기 위해서는 크롤링(Crawling)이라는 것에 대해서 알아야 합니다. 왜냐하면 렛츠런(경마장) 사이트에 들어가서, 데이터를 그냥 다운받을 수 있는 것이 아니기 때문에 그렇습니다. 하루하루의 경기결과나 출전 정보는 웹사이트에서 확인할 수 있지만, 우리가 분석을 위해 원하는 CSV나 엑셀 파일의 형태로는 데이터를 제공하고 있지 않습니다. 크롤링은 이러한 웹사이트의 정보를 긁어와 내 PC에 저장하는 기술입니다. 듣기만 하면 굉장히 어려워 보이지만, python이라는 언어를 통해서 쉽게 할 수 있습니다. python에 대한 자세한 설명은 웹에 많이 있으니 생략하고, 바로 crawling 하는 방법으로 넘어가도록 하겠습니다. 크롤링은 크게 3가지 단계로 진행이 됩니다. (이 단계는 그냥 편의상 제..

       2017.08.11
    2. Python/파이썬 경마 분석

      #1-3 경마 데이터 수집하기 - 크롤링을 위해 필요한 프로그램

      크롤링을 하기 위해서는 코딩을 해야 한다. 코딩을 하기 위해서는 프로그래밍 언어가 필요하다. 프로그래밍 언어에는 여러가지가 있지만, 여기서는 파이썬(python)을 이용해서 크롤링을 할 계획이다. 파이썬은 인터프리터 방식의 언어로 이해하기 쉽고, 직관적이다. 인터프리터 방식의 언어란 말은 프로그램을 한 줄씩 실행할 수 있다는 말이다. 단계별로 실행해보고 에러를 확인할 수 있어 사용하기 편리하다. 필자는 아래와 같은 환경에서 작업을 시작했다. - 운영체제: IOS(맥용) - 파이썬 버전: 아나콘다 파이썬 3.5 버전 - 편집기: 파이참(pycharm) '아나콘다'는 파이썬 배포판 중의 하나라 데이터 분석과 관련된 패키지들이 포함된 버전이다.파이썬의 강점 중의 하나는 이미 배포된 패키지를 이용하여, 원하는 ..

       2017.08.11
    3. Python/파이썬 경마 분석

      #2-4 나만의 레이팅 시스템 만들기(elo rating)

      렛츠런파크의 레이팅 시스템은 전체 말에 대해 점수를 메기는 시스템입니다. 현재 마사회에서도 레이팅 시스템을 운영하고 있고, 이는 경주성적, 착차, 편성강도 등 여러가지를 고려해서 부여한다고 합니다. 레이팅 시스템 중에서 제일 유명한 것은 엘로 레이팅 시스템(ELO rating system)입니다.이 시스템은 헝가리 출신인 엘뢰 아르파드 전 미국 마케트대 물리학과 교수가 제안한 시스템으로, 체스 선수들의 레이팅을 부여하기 위해 고안하여 사용되었고, 현재는 컴퓨터 게임의 래더 시스템에서 사용자 실력을 측정할 때 많이 쓰인다고 합니다. 이 시스템은 애초에 체스 선수를 대상으로 제안한 시스템이다보니, 1:1 경기에 적용되는 시스템이지만, 여기저기 찾아보면 경마와 같이 다수의 사람들이 겨루는 경기에도 엘로 시스템..

       2017.08.11
    6. Python/파이썬 경마 분석

      #2-2 경주 기록을 속도로 바꾸기 - pandas의 dataframe에서 문자열 다루기

      빅데이터와 AI기술이 발달하면서, 많은 사람들이 관심을 가지고 배우려고 한다. 하지만 현실에서 이러한 기술을 테스트 해보고 공부하기는 쉽지 않다. 여러가지 제약사항이 있지만 가장 큰 것은 데이터이다. 일반인들이 예측 알고리즘을 만들기 위한 데이터를 수집하는 것은 쉽지 않다. 그래서 경마를 재미로 분석하는 것이 학습에 큰 도움이 된다고 생각한다. ( 참조: 경마로 코딩 배우기 ) 이전 포스팅에서는 분석을 위해 경마 데이터를 수집해 보았다. 데이터를 수집하는 방법은 여러가지가 있지만, 렛츠런파크 싸이트의 데이터를 크롤링해서 쉽게 수집할 수 있었다. ( 참조: 경주 결과 웹크롤링 하기 ) pandas dataframe에서 문자열 다루는 방법을 통해, 경주기록을 속력으로 바꿔보자. 경마 경기를 분석하기 위해서는..

       2017.08.02
    7. Python/파이썬 경마 분석

      SQLite3 파이썬 pandas 데이터프레임으로 불러오기

      이전 포스팅에서 경마 경기들을 크롤링하여 SQLITE3에 저장하였다. 이제 저장한 DB들을 분석을 위해 파이썬으로 불러오는 작업을 해 보고자 한다.오늘은 SQLite3에 저장한 DB를 파이썬 pandas데이터프레임으로 불러오는 작업을 해보고자 한다. SQLite3에 DB에 접근하기 위해 sqlite3 라이브러리를 import 한다. 파이썬에서 데이터분석을 하기 위해서 pandas라는 라이브러리도 import한다. pandas는 파이썬에서 데이터 분석을 하기 위한 환경을 지원한다. pandas에 대한 자세한 내용이 긍금하다면, 아래 포스팅을 참조해보세요. ( 참조: python pandas의 dataframe(데이터프레임)에 대해서 알아보자 ) # coding=utf-8 import sqlite3 impo..

       2017.07.31
    8. Python/파이썬 경마 분석

      #1-8 경마 데이터 수집하기(7) - 경기 결과를 다 크롤링해야 하나요?

      앞에서 크롤링을 통해 경마 정보를 DB형태로 저장하는 방법에 대해 알아보았습니다. 그러나, 실제로 이렇게 크롤링을 통해 DB형태로 만드는 것이 시간도 많이 소요되고 지루하기 때문에, 제가 크롤링한 DB를 다운 받을 수 있도록 블로그에 올려 놓도록 하겠습니다. 데이터 유형을 제가 일일이 다 지정하지 않았기 때문에, 사용하실 때는 숫자는 int나 float형으로 변환해서 사용하셔야 된다는 점은 미리 말씀드립니다. - 기간: 2012년 1월~2017년 7월23일 - 내용: 경기결과 및 훈련 정보 등 10개 테이블 - 다운방법: 아래 파일들을 다운 받아서, 압축을 해제하시면 됩니다. - 포맷: SQLite DB 10개 테이블이 어떤 테이블인지 설명드리겠습니다. 10개의 테이블은 제가 렛츠런파크나 말형통정보 싸이..

       2017.07.28
    9. Python/파이썬 경마 분석

      #1-7 경마 데이터 수집하기 - 다수의 경기를 SQLite3 DB에 저장하기

      다수의 경주 결과를 저장하기 위해서는 for문과 try, except 구문을 활용하는 것이 좋다. 여러 개의 데이터를 저장하기 위해 for문을 이용한다. 데이터를 저장하다가 에러가 발생하는 경우 멈추지 않고 다음 데이터로 넘어가기 위해서 예외처리를 할 수 있는 try, except 구문을 활용한다. SQLite3에 대해서 알고 싶다면 이전 포스팅을 참조하기 바란다. ( 참조: #1-6 경마 데이터 수집하기 - SQLite라는 DB로 저장하기 ) 먼저 아래와 같이 ym이라는 list형태로 년월을 저장한다. 해당 년월들을 for문으로 작업할 예정이다. ym=list(["201201","201202","201203","201204","201205","201206","201207","201208","201209..

       2017.07.28
    이전 1 ··· 155 156 157 158 다음

    티스토리툴바