HimeraSearchDB
Carding_EbayThief
triada
CrackerTuch
d-shop
HimeraSearchDB

НОВОСТИ [Перевод] Multi-Target в Albumentations

NewsBot
Оффлайн

NewsBot

.
.
Регистрация
21.07.20
Сообщения
40.408
Реакции
1
Репутация
0
it1bxqn8wvfjlyv4_pgdhard7pw.jpeg


Этот текст — это перевод блог поста
You must be registered for see links
от 27 июля 2020.
You must be registered for see links
, но переводить текст на русский поленился. И этот перевод сделан по его просьбе.

Я перевела на русский все, что можно, но какие-то технические термины на английском звучат более естественно. В таком виде они и оставлены. Если вам в голову приходит адекватный перевод — комментируйте — поправлю.

—
Аугментации изображений — это интерпретируемый метод регуляризации. Вы преобразуете существующие размеченные данные в новые, тем самым увеличивая размер датасета.

svtcoxugojjpqqakbqlnhwaj3ga.jpeg


Вы можете использовать Albumentations в
You must be registered for see links
,
You must be registered for see links
,
You must be registered for see links
или любом другом фреймворке, который может обрабатывать изображение как numpy array.

Лучше всего библиотека работает со стандартными задачами классификации, сегментации, детекции объектов и ключевых точeк. Чуть реже встречаются задачи, когда в каждом элементе тренировочной выборки не один, а множество различных объектов.

Для такого рода ситуаций была добавлена функциональность multi-target.
Ситуации, где это может пригодиться:

  • Сиамские сети
  • Обработка кадров в видео
  • Задачи Image2image
  • Multilabel semantic segmentation
  • Instance segmentation
  • Panoptic segmentation


Немного выпендрежа, для привлечения внимания :)



  • Библиотека родилась из топовых решений с Kaggle и других площадок соревновательного машинного обучения. В основной команде разработчиков один
    You must be registered for see links
    , три
    You must be registered for see links
    , один
    You must be registered for see links
    .
  • You must be registered for see links
    , победитель конкурса
    You must be registered for see links
    с призовыми в миллион долларов, использовал Albumentations в своем решении.
  • Библиотека является частью
    You must be registered for see links
  • 5700 звезд на
    You must be registered for see links
    .
  • Библиотеку цитировали в научных статьях
    You must be registered for see links
    Упоминали в трех книгах.

В течение последних трех лет мы работали над функциональностью и оптимизировали производительность.

Сейчас же мы сосредоточились на
You must be registered for see links
и
You must be registered for see links


Как минимум раз в неделю пользователи просят добавить поддержку преобразования для нескольких сегментационных масок.

You must be registered for see links
from discussion
You must be registered for see links
.

Она у нас уже давно есть. :)

В этой статье мы поделимся примерами того, как работать с multiple targets в albumentations.

Сценарий 1: Одно изображение, одна маска


it1bxqn8wvfjlyv4_pgdhard7pw.jpeg


Наиболее распространенным вариантом использования является сегментация изображений. У вас есть изображение и маска. Вы хотите применить к ним набор пространственных преобразований, и это должен быть один и тот же набор.

В этом коде мы применяем
You must be registered for see links
и
You must be registered for see links
.


import albumentations as A

transform = A.Compose([
A.HorizontalFlip(p=0.5),
A.ShiftScaleRotate(border_mode=cv2.BORDER_CONSTANT,
scale_limit=0.3,
rotate_limit=(10, 30),
p=0.5)
], p=1)

transformed = transform(image=image, mask=mask)

image_transformed = transformed['image']
mask_transformed = transformed['mask']
You must be registered for see links


t_wtwkwq0ohtsq3lhakw8cyjfwg.jpeg


Сценарий 2: Одно изображение и несколько масок


3cz72jvu9b1bqcvyyb7x-s1nptk.jpeg


Для некоторых задач у вас может быть несколько меток, соответствующих одному и тому же пикселю.

Давайте применим
You must be registered for see links
,
You must be registered for see links
,
You must be registered for see links
.


import albumentations as A

transform = A.Compose([
A.HorizontalFlip(p=0.5),
A.GridDistortion(p=0.5),
A.RandomCrop(height=1024, width=1024, p=0.5),
], p=1)

transformed = transform(image=image, masks=[mask, mask2])

image_transformed = transformed['image']
mask_transformed = transformed['masks'][0]
mask2_transformed = transformed['masks'][1]
You must be registered for see links


Сценарий 3: Несколько изображений, масок, ключевых точек и боксов


7iznbpa9kokd8brxngsw5ytahte.jpeg


Вы можете применить пространственные преобразования к нескольким целям.

В этом примере мы имеем два изображения, две маски, два бокса и два набора ключевых точек.

Давайте применим последовательность из
You must be registered for see links
и
You must be registered for see links
.


import albumentations as A

transform = A.Compose([A.HorizontalFlip(p=0.5),
A.ShiftScaleRotate(border_mode=cv2.BORDER_CONSTANT, scale_limit=0.3, p=0.5)],
bbox_params=albu.BboxParams(format='pascal_voc', label_fields=['category_ids']),
keypoint_params=albu.KeypointParams(format='xy'),
additional_targets={
"image1": "image",
"bboxes1": "bboxes",
"mask1": "mask",
'keypoints1': "keypoints"},
p=1)

transformed = transform(image=image,
image1=image1,
mask=mask,
mask1=mask1,
bboxes=bboxes,
bboxes1=bboxes1,
keypoints=keypoints,
keypoints1=keypoints1,
category_ids=["face"]
)

image_transformed = transformed['image']
image1_transformed = transformed['image1']

mask_transformed = transformed['mask']
mask1_transformed = transformed['mask1']

bboxes_transformed = transformed['bboxes']
bboxes1_transformed = transformed['bboxes1']

keypoints_transformed = transformed['keypoints']
keypoints1_transformed = transformed['keypoints1']

You must be registered for see links


nsercffoxisbbuoitcnxtopxajq.jpeg


Q: Можно ли работать более чем с двумя изображениями?
А: Вы можете брать столько изображений, сколько захотите.

Q: Должно ли количество изображений, маски, боксов и ключевых точек быть одинаковым?
A: У вас может быть N изображений, M масок, K ключевых точек и B боксов. N, M, K и B могут быть разными.

Q: Существуют ли ситуации, когда функциональность multi target не сработает или сработает не так как ожидалось?
A: В целом, вы можете использовать multi-target для набора изображений, имеющих разные размеры. Некоторые преобразования зависит от входных данных. Например, вы не можете выполнить сделать crop, который больше самого изображения. Другой пример:
You must be registered for see links
, который может зависеть от исходной маски. Как он поведет себя, когда у нас будет набор масок, непонятно. На практике они встречаются крайне редко.

Q: Сколько преобразований можно сочетать вместе?
A: Вы можете сочетать преобразования в сложный пайплайн кучей разных способов.

В библиотеке более
You must be registered for see links
. Все они поддерживают изображения и маски, большинство поддерживают боксы и ключевые точки.

eqjzxunubfg8hzxswqhadps6ddk.png

You must be registered for see links


Их можно сочитать с
You must be registered for see links
, которые изменяют значения пикселей изображения. Например:
You must be registered for see links
,
You must be registered for see links
, или что-то более экзотическое, например
You must be registered for see links
.

Дополнительная документация


  • You must be registered for see links
  • You must be registered for see links
  • You must be registered for see links
  • You must be registered for see links
  • You must be registered for see links
  • You must be registered for see links


Заключение


Работа над open-source проектом сложная, но очень увлекательна. Я хотел бы поблагодарить команду разработчиков:
  • You must be registered for see links
  • You must be registered for see links
  • You must be registered for see links
  • You must be registered for see links
  • You must be registered for see links

и всех
You must be registered for see links
, которые помогли создать библиотеку
You must be registered for see links
и довести ее до текущего уровня.
 
Войдите или зарегистрируйтесь для ответа.
Сверху Снизу