customize_sot_model.md

自定义单目标跟踪模型

我们通常将模型组件分为4类：

• 主干网络：通常是一个用于抽取特征图的FCN网络，例如：ResNet, MobileNet。
• 模型颈部：通常是连接骨干网络和模型头部的组件，例如：ChannelMapper,FPN。
• 模型头部：用于特定任务的组件，例如：跟踪框预测。
• 损失函数：计算损失函数的部件，例如：FocalLoss, L1Loss。

增加一个新的主干网络

这里，我们以 MobileNet 为例来展示如何开发一个新组件。

1. 定义一个新主干网络 （例如：MobileNet）

创建一个新文件 mmtrack/models/backbones/mobilenet.py

import torch.nn as nn
from mmcv.runner import BaseModule

from mmdet.models.builder import BACKBONES


@BACKBONES.register_module()
class MobileNet(BaseModule):

    def __init__(self, arg1, arg2, *args, **kwargs):
        pass

    def forward(self, x):  # should return a tuple
        pass

2. 引进模块

你可以在 mmtrack/models/backbones/__init__.py 增加下面一行

from .mobilenet import MobileNet

或者，为了避免更改原始代码，你还可以在 config 文件中增加以下几行来实现：

custom_imports = dict(
    imports=['mmtrack.models.backbones.mobilenet'],
    allow_failed_imports=False)

3. 更改原始 config 文件

model = dict(
    ...
    backbone=dict(
        type='MobileNet',
        arg1=xxx,
        arg2=xxx),
    ...

增加一个新的模型瓶颈

1. 定义一个模型瓶颈 （例如：MyFPN）

创建一个新文件 mmtrack/models/necks/my_fpn.py

from mmcv.runner import BaseModule

from mmdet.models.builder import NECKS

@NECKS.register_module()
class MyFPN(BaseModule):

    def __init__(self, arg1, arg2, *args, **kwargs):
        pass

    def forward(self, inputs):
        # implementation is ignored
        pass

2. 引进模块

你可以在 mmtrack/models/necks/__init__.py 增加下面一行

from .my_fpn import MyFPN

或者，为了避免更改原始代码，你还可以在 config 文件中增加以下几行来实现：

custom_imports = dict(
    imports=['mmtrack.models.necks.my_fpn.py'],
    allow_failed_imports=False)

3. 更改原始 config 文件

neck=dict(
    type='MyFPN',
    arg1=xxx,
    arg2=xxx),

增加一个新的模型头部

1. 定义一个模型头部 （例如：MyHead）

创建一个新文件 mmtrack/models/track_heads/my_head.py

from mmcv.runner import BaseModule

from mmdet.models import HEADS

@HEADS.register_module()
class MyHead(BaseModule):

    def __init__(self, arg1, arg2, *args, **kwargs):
        pass

    def forward(self, inputs):
        # implementation is ignored
        pass

2. 引进模块

你可以在 mmtrack/models/track_heads/__init__.py 增加下面一行

from .my_head import MyHead

或者，为了避免更改原始代码，你还可以在 config 文件中增加以下几行来实现：

custom_imports = dict(
    imports=['mmtrack.models.track_heads.my_head.py'],
    allow_failed_imports=False)

3. 更改原始 config 文件

track_head=dict(
    type='MyHead',
    arg1=xxx,
    arg2=xxx)

增加一个新的损失函数

详细请参考 增加新损失函数