Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

CrocSummer2024 #8

Open
wants to merge 9 commits into
base: master
Choose a base branch
from
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
168 changes: 168 additions & 0 deletions .gitignore
Original file line number Diff line number Diff line change
@@ -0,0 +1,168 @@
# Byte-compiled / optimized / DLL files
__pycache__/
*.py[cod]
*$py.class

# C extensions
*.so

# Distribution / packaging
.Python
build/
develop-eggs/
dist/
downloads/
eggs/
.eggs/
lib/
lib64/
parts/
sdist/
var/
wheels/
share/python-wheels/
*.egg-info/
.installed.cfg
*.egg
MANIFEST

# PyInstaller
# Usually these files are written by a python script from a template
# before PyInstaller builds the exe, so as to inject date/other infos into it.
*.manifest
*.spec

# Installer logs
pip-log.txt
pip-delete-this-directory.txt

# Unit test / coverage reports
htmlcov/
.tox/
.nox/
.coverage
.coverage.*
.cache
nosetests.xml
coverage.xml
*.cover
*.py,cover
.hypothesis/
.pytest_cache/
cover/

# Translations
*.mo
*.pot

# Django stuff:
*.log
local_settings.py
db.sqlite3
db.sqlite3-journal

# Flask stuff:
instance/
.webassets-cache

# Scrapy stuff:
.scrapy

# Sphinx documentation
docs/_build/

# PyBuilder
.pybuilder/
target/

# Jupyter Notebook
.ipynb_checkpoints

# IPython
profile_default/
ipython_config.py

# pyenv
# For a library or package, you might want to ignore these files since the code is
# intended to run in multiple environments; otherwise, check them in:
# .python-version

# pipenv
# According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
# However, in case of collaboration, if having platform-specific dependencies or dependencies
# having no cross-platform support, pipenv may install dependencies that don't work, or not
# install all needed dependencies.
#Pipfile.lock

# poetry
# Similar to Pipfile.lock, it is generally recommended to include poetry.lock in version control.
# This is especially recommended for binary packages to ensure reproducibility, and is more
# commonly ignored for libraries.
# https://python-poetry.org/docs/basic-usage/#commit-your-poetrylock-file-to-version-control
#poetry.lock

# pdm
# Similar to Pipfile.lock, it is generally recommended to include pdm.lock in version control.
#pdm.lock
# pdm stores project-wide configurations in .pdm.toml, but it is recommended to not include it
# in version control.
# https://pdm.fming.dev/#use-with-ide
.pdm.toml

# PEP 582; used by e.g. github.com/David-OConnor/pyflow and github.com/pdm-project/pdm
__pypackages__/

# Celery stuff
celerybeat-schedule
celerybeat.pid

# SageMath parsed files
*.sage.py

# Environments
.env
.venv
env/
venv/
ENV/
env.bak/
venv.bak/

# Spyder project settings
.spyderproject
.spyproject

# Rope project settings
.ropeproject

# mkdocs documentation
/site

# mypy
.mypy_cache/
.dmypy.json
dmypy.json

# Pyre type checker
.pyre/

# pytype static type analyzer
.pytype/

# Cython debug symbols
cython_debug/

# PyCharm
# JetBrains specific template is maintained in a separate JetBrains.gitignore that can
# be found at https://github.com/github/gitignore/blob/main/Global/JetBrains.gitignore
# and can be added to the global gitignore or merged into this file. For a more nuclear
# option (not recommended) you can uncomment the following to ignore the entire idea folder.
#.idea/

.idea/

*.db
!flow.db
*.gguf


62 changes: 62 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,69 @@ CodeKiller777
Ручной ввод пути к файлу (через консоль, через правку переменной в коде и т.д.) недопустим. Необходимость любых ручных действий с файлами в процессе работы программы будут обнулять решение.

## Автор решения
Скалин Иван

## Описание реализации
### Проект структурирован соответственно:

.
├── ...
├── app # main app dir, also a module for running the code
│ ├── file_manager.py # functions for the file manipulation
│ ├── task.py # ContributorList class is placed here, also main task func is placed here
│ └── classes
│ ├── commits.py # Commit class is here
│ └── contributor.py # Contributor class is here
├── test
│ ├── generator.py # script for sample generation
│ └── tests.py # unit tests for the classes
└── main.py # script for running the code

### Основные моменты
В основу для реализации легли 3 класса:
- Commit
- Contributor
- ContributorList

Их свойства ясны из названий, соответственно Commit класс используется для унификации и проверки данных о коммите, Contributor - для проверки кортрибутора, а так же для сохранения его коммитов, а ContributorList уже специфичный для задачи класс, который обрабатывает конкретный формат файла

Для валидации данных были использованны библиотеки 'regex' и 'datetime', для валидации (имен и хэшей) и (даты) соответственно, в случае попадания ошибочной строки во входной файл, она будет пропущена и будет зафиксированна ошибка, на работоспособность программы это не повлияет

Также вспомогательно были реализованы методы для взаимодействия с файлами, базовые алгоритмы тестирования и генерации тестовых строк, реализованна система логирования для основных процедур

### Описание классов

- class Commit
* при создании обязан иметь валидный `hash` и `date`, иначе будет вызван exception ValueError при создании объекта
* имеет метод `validate()` который возвращает `bool`, означающий валиден ли данный коммит

- class Contributor
* аналогично с классом коммита, необходимо при создании указать валидное имя пользователя `name`, иначе аналогично будет вызван exception ValueError
* имеет 2 основных метода `add_commit_raw(c_hash: str, dt_str: str)` и `add_commit(commit: Commit)` для добавления коммита конкретному пользователю, которые возвращают `Tuple[bool, str]`, где bool - флаг, обозначающий, добавлена ли строка, и str - строка с сообщением об ошибке
* ну и метод для получения количества коммитов соответственно `get_commits_amount()`

### Генератор строк
Расположенный в директории `test/generator.py`, позволяет генерировать файл с корректными строками для тестирования

### Тестирование
Небольшое количество юнит тестов присутствуют в `test/tests.py`

### Работа с файлами
При работе с файлами было принято решение сделать поисковик входного файла, который ищет его внутри рабочей директории, т.к в задании не было указано, где расположен файл с данными: если программа не сможет найти файл в корневой директории, она будет пытаться найти его внутри всех вложенных директорий, и завершит работу, если файл так и не будет найден

Результирующий файл будет записан под соответствующим названием в корневую директорию
Также будет создан файл с логами, в корневой директории, внутрь которого будут заноситься сообщения об ошибках и информационные сообщения

## Инструкция по сборке и запуску решения
Для запуска решения необходимо иметь `python 3.10.11` (иначе могут возникнуть конфликты) или выше

В корневой директории запуска решения необходимо иметь файл `commits.txt` (файл может быть расположен и во вложенных директориях решения)

После завершения выполнения решения в корневую директорию будут записаны файлы `result.txt` и `log.txt`

Запуск может происходить в двух вариантах:
- Находясь в корневой директории проекта можно запустить скрипт `main.py` соответственно командой `python ./main.py`
- Альтернативный вариант запуска - запустить модуль `app`, соответственно командой `python -m app`

Также можно запустить юнит тестирование:
- запустить модуль `test`: `python -m test`
Empty file added app/__init__.py
Empty file.
23 changes: 23 additions & 0 deletions app/__main__.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,23 @@
from app.file_manager import search_file, read_file, write_file
from app.task import get_leaders
import logging
import os

logging.basicConfig(
filename=os.path.join("log.txt"),
filemode='a',
format='%(asctime)s,%(msecs)d - %(name)s - %(levelname)s: %(message)s',
datefmt='%H:%M:%S',
level=logging.INFO
)

logger = logging.getLogger("main")

if __name__ == "__main__":
path = search_file("commits.txt")
if not path:
logger.error("File commits.txt not found")
exit(1)
file_lines = read_file(path)
leaders = get_leaders(file_lines)
write_file("result.txt", leaders)
Empty file added app/classes/__init__.py
Empty file.
58 changes: 58 additions & 0 deletions app/classes/commits.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,58 @@
from typing import List, Dict, Union
import re
from datetime import datetime as dt
import logging

commit_regex = re.compile(r"[a-z0-9]{7}")
date_mask_mil = "%Y-%m-%dT%H:%M:%S.%f"
date_mask_sec = "%Y-%m-%dT%H:%M:%S"


class Commit:
"""Class to represent a commit"""
c_hash: str = None
datetime: dt = None

@staticmethod
def _get_date(dt_str: str) -> Union[dt.time, None]:
try:
if "." in dt_str:
return dt.strptime(dt_str, date_mask_mil)
else:
return dt.strptime(dt_str, date_mask_sec)
except ValueError:
return None

@staticmethod
def _check_hash(c_hash: str) -> bool:
return bool(re.fullmatch(commit_regex, c_hash))

def __new__(cls, *args, c_hash: str = None, dt_str: str = None, **kwargs):
if c_hash is None and dt_str is None and len(args) == 2:
c_hash = args[0]
dt_str = args[1]
if c_hash is None:
raise ValueError("Commit hash is required")
if dt_str is None:
raise ValueError("Date string is required")
if not cls._check_hash(c_hash):
raise ValueError("Invalid commit hash")
if not cls._get_date(dt_str):
raise ValueError("Invalid date string")
return super().__new__(cls)

def __init__(self, c_hash: str, dt_str: str):
self.hash = c_hash
self.datetime = self._get_date(dt_str)

def validate(self) -> bool:
"""
Check if the commit is valid
:return: True if valid, False otherwise
"""
if self.hash is not None and self.datetime is not None:
return True
return False



64 changes: 64 additions & 0 deletions app/classes/contributor.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,64 @@
from typing import List, Tuple
from app.classes.commits import Commit
import re

name_regex = re.compile(r"[A-Za-z][A-Za-z0-9_]+")


class Contributor:
"""
A class to represent a contributor
"""
name: str = None
commits_list: List[Commit] = None

def __new__(cls, *args, name: str = None, **kwargs):
if name is None and len(args) == 1:
name = args[0]
if name is None:
raise ValueError("Contributor name is required")
if not name_regex.fullmatch(name):
raise ValueError("invalid contributor name")
return super().__new__(cls)

def __init__(self, name: str):
self.name = name
self.commits_list = []

def add_commit_raw(self, c_hash: str, dt_str: str) -> Tuple[bool, str]:
"""
Add a commit to the contributor
:param c_hash: The commit hash
:param dt_str: The date string
:return: A tuple containing a boolean indicating if the commit was added and a string containing the error message
"""

try:
commit = Commit(c_hash=c_hash, dt_str=dt_str)
except ValueError as e:
return False, e.args[0]

self.commits_list.append(commit)
return True, ""

def add_commit(self, commit: Commit):
"""
Add a commit to the contributor
:param commit: The commit to add
:return: None
"""
self.commits_list.append(commit)

def get_commits_amount(self) -> int:
"""
Get the amount of commits
:return: The amount of commits
"""
return len(self.commits_list)


if __name__ == "__main__":
contributors = Contributor(name="")
print(contributors.name)


Loading