1. Python/파이썬 경마 분석

      #1-6 경마 데이터 수집하기 - SQLite라는 DB로 저장하기

      다수의 경주 결과를 저장하기 전에 어떤 포맷으로 저장할 지 한 번 생각해보도록 하겠습니다. 우선 떠오르는 것은 엑셀이나 csv입니다. 하지만 엑셀은 대용량의 데이터를 저장하기가 어렵고, csv는 나중에 수정이나 삭제, 조회 등의 작업을 할 때 조금 불편합니다. 그리고, 다수의 경기를 크롤링을 하다 보면 for문을 이용하여 몇 시간 동안 작업을 해야 합니다. 중간에 인터넷 연결상의 문제로 특정 날짜는 에러가 날 때가 있는데요. 그럴 때는 그 날짜만 중간에 작업해서 넣어줘야 합니다. 물론 csv파일로도 해당 작업을 할 수 있고, 저도 csv로 처음에는 저장하였습니다. 하지만 SQLite를 활용하여 DB 형태로 저장하고 나니 작업하기가 훨씬 좋았습니다. 그래서 나중에 작업하기 좋은 DB형태로 저장해 보도록 하..

       2017.08.26
    2. Python/오픈 API 활용기

      [dart api 1] 기업공시시스템 open api 사용하기#dart#기업공시시스템#open api#API#다트

      전자공시시스템인 dart에 있는 OPEN API를 이용하여 기업 정보를 가져와 보려고 합니다. 여기에는 기업에서 공시하는 많은 자료들이 있습니다. 그 중에서도 저는 주식투자를 하시는 분들이 관심이 많으실 기업재무재표를 가져오는 것을 목표로 하고자 합니다. OPEN API의 사전상 뜻은 다음과 같습니다. "인터넷 이용자가 일방적으로 웹 검색 결과 및 사용자인터페이스(UI) 등을 제공받는 데 그치지 않고, 직접 응용프로그램과 서비스를 개발할 수 있도록 공개된 API" (출처: 매일경제용어사전) dart의 정보를 가지고 직접 응용프로그램과 서비스를 개발할 수 있다니, 정말 놀랍네요. 관련 글 보기 데이터프레임(DataFrame) 엑셀처럼 조회하기

       2017.08.24
    4. Python/파이썬 경마 분석

      outlier(이상치, 아웃라이어) 제거하기

      이상치들은 특정 범위에서 너무 벗어나 있어 데이터 분석이나 모델링의 결과에 커다란 영향을 미칩니다. 그래서 outlier, 이상치를 제거하는 작업을 해야 하는데요. 눈으로 일일이 보고 제거할 수도 있겠지만, 변수의 수가 너무 많으면 이 또한 쉬운 일이 아닙니다. 아웃라이어를 제거하는 방법과 기준도 다양하고, 보정하는 방법에서 삭제하는 방법까지 처리하는 방법도 다양합니다. 파이썬 sklearn 패키지에서 제공하는 이상치 제거방법을 알아보았습니다. HTML 삽입 미리보기할 수 없는 소스 sklearn 패키지의 documenation에 가면, novelty and outlier detection 섹션에서 4가지의 방법을 설명하고 있습니다. novelty detection은 새로운 값이 들어왔을 때, 그 값이 ..

       2017.08.22
    5. Python/파이썬 경마 분석

      #1-2 경마 데이터 수집하기 - 렛츠런 파크 사이트 보기

      데이터를 수집하기 위해서는 크롤링(Crawling)이라는 것에 대해서 알아야 합니다. 왜냐하면 렛츠런(경마장) 사이트에 들어가서, 데이터를 그냥 다운받을 수 있는 것이 아니기 때문에 그렇습니다. 하루하루의 경기결과나 출전 정보는 웹사이트에서 확인할 수 있지만, 우리가 분석을 위해 원하는 CSV나 엑셀 파일의 형태로는 데이터를 제공하고 있지 않습니다. 크롤링은 이러한 웹사이트의 정보를 긁어와 내 PC에 저장하는 기술입니다. 듣기만 하면 굉장히 어려워 보이지만, python이라는 언어를 통해서 쉽게 할 수 있습니다. python에 대한 자세한 설명은 웹에 많이 있으니 생략하고, 바로 crawling 하는 방법으로 넘어가도록 하겠습니다. 크롤링은 크게 3가지 단계로 진행이 됩니다. (이 단계는 그냥 편의상 제..

       2017.08.11
    6. Python/파이썬 경마 분석

      #1-3 경마 데이터 수집하기 - 크롤링을 위해 필요한 프로그램

      크롤링을 하기 위해서는 코딩을 해야 한다. 코딩을 하기 위해서는 프로그래밍 언어가 필요하다. 프로그래밍 언어에는 여러가지가 있지만, 여기서는 파이썬(python)을 이용해서 크롤링을 할 계획이다. 파이썬은 인터프리터 방식의 언어로 이해하기 쉽고, 직관적이다. 인터프리터 방식의 언어란 말은 프로그램을 한 줄씩 실행할 수 있다는 말이다. 단계별로 실행해보고 에러를 확인할 수 있어 사용하기 편리하다. 필자는 아래와 같은 환경에서 작업을 시작했다. - 운영체제: IOS(맥용) - 파이썬 버전: 아나콘다 파이썬 3.5 버전 - 편집기: 파이참(pycharm) '아나콘다'는 파이썬 배포판 중의 하나라 데이터 분석과 관련된 패키지들이 포함된 버전이다.파이썬의 강점 중의 하나는 이미 배포된 패키지를 이용하여, 원하는 ..

       2017.08.11
    7. Python/파이썬 경마 분석

      #2-4 나만의 레이팅 시스템 만들기(elo rating)

      렛츠런파크의 레이팅 시스템은 전체 말에 대해 점수를 메기는 시스템입니다. 현재 마사회에서도 레이팅 시스템을 운영하고 있고, 이는 경주성적, 착차, 편성강도 등 여러가지를 고려해서 부여한다고 합니다. 레이팅 시스템 중에서 제일 유명한 것은 엘로 레이팅 시스템(ELO rating system)입니다.이 시스템은 헝가리 출신인 엘뢰 아르파드 전 미국 마케트대 물리학과 교수가 제안한 시스템으로, 체스 선수들의 레이팅을 부여하기 위해 고안하여 사용되었고, 현재는 컴퓨터 게임의 래더 시스템에서 사용자 실력을 측정할 때 많이 쓰인다고 합니다. 이 시스템은 애초에 체스 선수를 대상으로 제안한 시스템이다보니, 1:1 경기에 적용되는 시스템이지만, 여기저기 찾아보면 경마와 같이 다수의 사람들이 겨루는 경기에도 엘로 시스템..

       2017.08.11
    10. Python/파이썬 경마 분석

      #2-2 경주 기록을 속도로 바꾸기 - pandas의 dataframe에서 문자열 다루기

      빅데이터와 AI기술이 발달하면서, 많은 사람들이 관심을 가지고 배우려고 한다. 하지만 현실에서 이러한 기술을 테스트 해보고 공부하기는 쉽지 않다. 여러가지 제약사항이 있지만 가장 큰 것은 데이터이다. 일반인들이 예측 알고리즘을 만들기 위한 데이터를 수집하는 것은 쉽지 않다. 그래서 경마를 재미로 분석하는 것이 학습에 큰 도움이 된다고 생각한다. ( 참조: 경마로 코딩 배우기 ) 이전 포스팅에서는 분석을 위해 경마 데이터를 수집해 보았다. 데이터를 수집하는 방법은 여러가지가 있지만, 렛츠런파크 싸이트의 데이터를 크롤링해서 쉽게 수집할 수 있었다. ( 참조: 경주 결과 웹크롤링 하기 ) pandas dataframe에서 문자열 다루는 방법을 통해, 경주기록을 속력으로 바꿔보자. 경마 경기를 분석하기 위해서는..

       2017.08.02
    이전 1 ··· 7 8 9 10 11 다음

    티스토리툴바