10 кп сталь расшифровка: Сталь 10кп – расшифровка марки стали, ГОСТ, характеристика материала

alexxlab | 08.01.1995 | 0 | Разное

Содержание

Сталь 10кп – расшифровка марки стали, ГОСТ, характеристика материала

Марка стали – 10кп

Стандарт – ГОСТ 1050

Заменитель – 08кп, 10, 15кп

Сталь 10кп содержит в среднем 0,1% углерода. Степень раскисления стали – кипящая (обозначают индексом кп).

Нелегированная качественная сталь 10кп применяется для изготовления шайб, прокладок, вилок и других деталей работающих при температуре до 450°С не под давлением, к которым предъявляются требования высокой пластичности.

Химико-термически обработанная сталь 10кп применяется для изготовления втулок, шайб и других деталей, к которым предъявляются требования высокой поверхностной твердости и износостойкости при невысокой прочности сердцевины.

Сталь характеризуется повышенной склонностью к старению.

Массовая доля основных химических элементов, %
C – углеродаSi – кремнияMn – марганца
0,07-0,14Не более 0,070,25-0,50
Температура критических точек, °С
Ac1Ac3Ar1Ar3
732870680854
Технологические свойства
КовкаТемпература ковки, °С: начала 1300, конца 700. Охлаждение на воздухе.
СвариваемостьСваривается без ограничений, кроме деталей после химико-термической обработки.
Способы сварки: ручная дуговая сварка, автоматическая дуговая сварка, контактная сварка.
Обрабатываемость резаниемВ горячекатаном состоянии при HB 99-107 и σв = 450 МПа:
Kv твердый сплав = 2,1
Kv быстрорежущая сталь
= 1,6
Флокеночувств.Не чувствительна
Склонность к отпускной хрупкостиНе склонна
Физические свойстваТемпература испытаний, °С
20100200300400500600700800900
Модуль нормальной упругости E, ГПа186
Модуль упругости при сдвиге кручением G, ГПа
Плотность ρn, кг/м37856783278007765773076927653761375827594
Коэффициент теплопроводности λ, Вт/(м*К)585449454036322927
Удельное электросопротивление ρ, нОм*м19026335245858473490510811130
20-10020-20020-30020-40020-50020-60020-70020-80020-90020-1000
Коэффициент линейного расширения α*106, K-112,413,213,914,514,915,115,312,114,812,6
Удельная теплоемкость c, Дж/(кг*К)466479512567


Сталь 10кп: Расшифровка марки | ООО «Сталь-Максимум»

Марка стали

 Вид поставки

Лист – ГОСТ 1577–93, ГОСТ 16523–97, ГОСТ 4041–71. Полоса – ГОСТ 1577–93. Проволока – ГОСТ 5663–79. Лента – ГОСТ 503–81, ГОСТ 10234–77. Сортовой прокат – ГОСТ 10702–78.

10кп

Массовая доля элементов, % по ГОСТ 1050–88

Температура критических точек, ºС

С

Si

Mn

S

P

Cr

Ni

Cu

As

N

Ас1

Ас3

Аr1

Аr3

0,07

0,14

0,07

0,25–

0,50

0,040

0,035

0,15

0,30

0,30

0,08

0,008

732

870

680

854

Механические свойства при комнатной температуре

НД

Режим термообработки

Сечение,

мм

σ0,2,

Н/мм2

σВ,

Н/мм2

δ

%

Ψ,

%

KCU,

Дж/см2

Изгиб

НВ

Операция

t, ºС

Охлаждающая

среда

не менее

ГОСТ

503–81

Термообработка

До 1,5

1,6–2,0

2,1–2,9

3,0–4,0

310–440

310–440

310–440

310–440

17

18

20

24

ГОСТ

1577–93

Лист. Без термообработки, после контролируемой прокатки или нормализованный

До 20

21–32

33–160

320

320

320

32

30

29

d=0,5а

d=а

Лист отожженный или высокоотпущен-ный

До 20

21–32

33–160

270

270

270

32

30

29

d=0,5а  

≤ 137

d=а

Полоса нормализо-ванная

До 20

21–32

33–60

185

185

185

310

310

310

33

31

30

55

55

55

d=0,5а  

d=а

ГОСТ

4041–71

Термическая

обработка

4,0–14,0

270–410

32

HRB

≤ 64

≤ 114

ГОСТ

5663–79

Без термической обработки

1 класс

ø1,0–6,0

440–590

55

2 класс

590

55

ГОСТ

10234–77

Отжиг

s 0,1–4,0

ширина

0,5–12

440

20

ГОСТ

10702–78

Термическая

обработка

5–48

310–410

50

≤ 143

ГОСТ

16523–

97

Термически обработанный горячекатаный

лист

До 2,0

Свыше

2,0

270–410

270–410

24

26

d=0

d=a

Термически обработанный холоднокатаный лист

До 2,0

Свыше

2,0

270–410

270–410

25

28

d=0

d=a

Назначение. После нормализации или без термообработки – шайбы, патрубки, прокладки, вилки. Корпусы теплообменных аппаратов и другие детали, работающие при температуре  до 450 ºС не под давлением, к которым предъявляются требования высокой пластичности.

Сталь характеризуется повышенной склонностью к старению..

Предел

выносливости,

Н/мм2

Термообработка

Ударная вязкость, KCU, Дж/см2,

при t, ºС

Термообработка

σ-1

τ-1

+ 20

0

– 20

– 40

– 60

– 80

Технологические характеристики

Ковка

Охлаждение поковок, изготовленных

Вид полуфабриката

Температурный

интервал ковки,  ºС

из слитков

из заготовок

Размер сечения, мм

Условия охлаждения

Размер сечения, мм

Условия охлаждения

Слиток

1280–750

Поковки всех размеров:

ответственного назначения

Нормализация, два

переохлаждения, отпуск

На воздухе

Заготовка

1300–700

остальные

На воздухе

Свариваемость

Обрабатываемость резанием

Флокеночувствительность

Сваривается без ограничений

Способы сварки: РД, РАД, АФ, МП и КТ.

В горячекатаном состоянии при  ≤ 143 НВ и

σВ = 330 Н/мм2

К = 2,1 (твердый сплав),

К = 1,6 (быстрорежущая сталь)

Не чувствительна

Склонность к отпускной хрупкости

Не склонна

Сталь конструкционная углеродистая качественная 10кп – характеристики, свойства, аналоги

На данной страничке приведены технические, механические и остальные свойства, а также характеристики стали марки 10кп.

Классификация материала и применение марки 10кп

Марка: 10кп
Классификация материала: Сталь конструкционная углеродистая качественная
Применение: детали, работающие при температуре до 450 °С, к которым предъявляются требования высокой пластичности, а также втулки, ушки, шайбы, винты и другие детали после ХТО, к которым предъявляются требования высокой поверхностной твердости и износостойкости при невысокой прочности сердцевины.

Химический состав материала 10кп в процентном соотношении


CSiMnNi SPCrCuAs
0.07 – 0.14до 0.070.25 – 0.5до 0.3до 0.04до 0.035до 0.15до 0.3до 0.08

Механические свойства 10кп при температуре 20

oС
СортаментРазмерНапр.sвsTd5yKCUТермообр.
ммМПаМПа%%кДж / м2
Лист термообработ., ГОСТ 4041-714 – 14270-41032
Трубы, ГОСТ 10705-8031419625
Сталь калиброван., ГОСТ 10702-78372855
Полоса, ГОСТ 1577-936 – 603101853355Нормализация

Технологические свойства 10кп


Свариваемость: без ограничений.
Флокеночувствительность: не чувствительна.
Склонность к отпускной хрупкости: не склонна.

Расшифровка обозначений, сокращений, параметров


Механические свойства :
sв– Предел кратковременной прочности , [МПа]
sT– Предел пропорциональности (предел текучести для остаточной деформации), [МПа]
d5– Относительное удлинение при разрыве , [ % ]
y– Относительное сужение , [ % ]
KCU– Ударная вязкость , [ кДж / м2]
HB– Твердость по Бринеллю , [МПа]

Физические свойства :
T – Температура, при которой получены данные свойства , [Град]
E– Модуль упругости первого рода , [МПа]
a– Коэффициент температурного (линейного) расширения (диапазон 20o– T ) , [1/Град]
l– Коэффициент теплопроводности (теплоемкость материала) , [Вт/(м·град)]
r– Плотность материала , [кг/м3]
C– Удельная теплоемкость материала (диапазон 20o– T ), [Дж/(кг·град)]
R– Удельное электросопротивление, [Ом·м]

Свариваемость :
без ограничений– сварка производится без подогрева и без последующей термообработки
ограниченно свариваемая– сварка возможна при подогреве до 100-120 град. и последующей термообработке
трудносвариваемая– для получения качественных сварных соединений требуются дополнительные операции: подогрев до 200-300 град. при сварке, термообработка после сварки – отжиг

Другие марки из этой категории:

Обращаем ваше внимание на то, что данная информация о марке 10кп, приведена в ознакомительных целях. Параметры, свойства и состав реального материала марки 10кп могут отличаться от значений, приведённых на данной странице. Более подробную информацию о марке 10кп можно уточнить на информационном ресурсе Марочник стали и сплавов. Информацию о наличии, сроках поставки и стоимости материалов Вы можете уточнить у наших менеджеров. При обнаружении неточностей в описании материалов или найденных ошибках просим сообщать администраторам сайта, через форму обратной связи. Заранее спасибо за сотрудничество!

Сталь 10кп – химический состав

08ГОСТ 1050 – 88Feот 98%Mn0.35-0.65%Si0.17-0.37%C0.05-0.12%…
10ГОСТ 1050 – 88Feот 98%Mn0.35-0.65%Si0.17-0.37%C0.07-0.1%…
15ГОСТ 1050 – 88Feот 97.8%Mn0.35-0.65%Si0.17-0.37%C0.12-0.19%…
20ГОСТ 1050 – 88Feот 97.9%Mn0.35-0.6%Si0.17-0.3%C0.17-0.2%…
25ГОСТ 1050 – 88Feот 97.6%Mn0.5-0.8%C0.22-0.3%Si0.17-0.3%…
30ГОСТ 1050 – 88Feот 97.6%Mn0.5-0.8%C0.27-0.3%Si0.17-0.3%…
35ГОСТ 1050 – 88Feот 97.5%Mn0.5-0.8%C0.32-0.4%Si0.17-0.3%…
40ГОСТ 1050 – 88Feот 97.4%Mn0.5-0.8%C0.37-0.45%Si0.17-0.3%…
45ГОСТ 1050 – 88Feот 97.4%Mn0.5-0.8%C0.42-0.5%Si0.17-0.3%…
50ГОСТ 1050 – 88Feот 97.4%Mn0.5-0.8%C0.47-0.5%Si0.17-0.3%…
55ГОСТ 1050 – 88Feот 97.3%C0.52-0.6%Mn0.5-0.8%Si0.17-0.3%…
58ГОСТ 1050 – 88Feот 97.9%C0.55-0.6%Si0.1-0.3%…
60ГОСТ 1050 – 88Feот 97%C0.57-0.6%Mn0.5-0.8%Si0.17-0.3%…
05кпГОСТ 1050 – 88Feот 98.7%…
08кпГОСТ 1050 – 88Feот 98.5%Mn0.25-0.5%C0.05-0.1%…
08псГОСТ 1050 – 88Feот 98.3%Mn0.35-0.6%C0.05-0.1%Si0.05-0.1%…
08ФкпFeот 99.4%Mn0.2-0.4%V0.02-0.04%…
08ЮГОСТ 9045 – 93Feот 99.4%Al0.02-0.07%…
08ЮАГОСТ 4041 – 71Feот 98.9%Mn0.2-0.4%Al0.02-0.08%…
10кпГОСТ 1050 – 88Feот 98.4%Mn0.25-0.5%C0.07-0.1%…
10псГОСТ 1050 – 88Feот 98.3%Mn0.35-0.6%C0.07-0.1%Si0.05-0.1%…
10ЮАГОСТ 4041 – 71Feот 98.9%Mn0.2-0.4%C0.07-0.1%Al0.02-0.08%…
11кпГОСТ 1050 – 88Feот 98.5%Mn0.3-0.5%C0.05-0.1%…
11ЮАГОСТ 803 – 81Feот 98.5%Mn0.3-0.5%C0.08-0.1%Al0.02-0.08%…
12КFeот 97.8%Mn0.4-0.7%Si0.17-0.3%C0.08-0.16%…
15КГОСТ 5520 – 79Feот 97.8%Mn0.35-0.6%Si0.15-0.3%C0.12-0.2%…
15кпГОСТ 1050 – 88Feот 98.2%Mn0.25-0.5%C0.12-0.19%…
15псГОСТ 1050 – 88Feот 98.1%Mn0.36-0.6%C0.12-0.19%Si0.05-0.1%…
15ЮАГОСТ 4041 – 71Feот 98.8%Mn0.25-0.4%C0.12-0.18%Al0.02-0.08%…
16КГОСТ 5520 – 79Feот 97.7%Mn0.45-0.7%Si0.17-0.3%C0.12-0.2%…
18КГОСТ 5520 – 79Feот 97.6%Mn0.55-0.8%Si0.17-0.3%C0.14-0.2%…
18кпГОСТ 1050 – 88Feот 98.3%Mn0.3-0.5%C0.12-0.2%…
18ЮАГОСТ 803 – 81Feот 98.5%Mn0.2-0.4%C0.16-0.2%Al0.02-0.08%…
20АГОСТ 21729 – 76Feот 98.3%Mn0.35-0.6%Si0.17-0.3%C0.17-0.2%…
20КГОСТ 5520 – 79Feот 97.8%Mn0.35-0.65%C0.16-0.24%Si0.15-0.3%…
20кпГОСТ 1050 – 88Feот 98.2%Mn0.25-0.5%C0.17-0.2%…
20псГОСТ 1050 – 88Feот 98.1%Mn0.35-0.6%C0.17-0.2%Si0.05-0.1%…
20ЮАГОСТ 4041 – 71Feот 98.8%Mn0.25-0.4%C0.16-0.2%Al0.02-0.08%…
22КГОСТ 5520 – 79Feот 97.4%Mn0.7-1%C0.19-0.2%Si0.17-0.4%…
25псГОСТ 4041 – 71Feот 98.4%Mn0.25-0.5%C0.22-0.2%…
50АГОСТ 1050 – 88Feот 97.4%Mn0.5-0.8%C0.47-0.5%Si0.17-0.3%…
ОсВГОСТ 4728 – 79, в последней версии материал отсутствуетFeот 97.5%Mn0.55-0.8%C0.4-0.48%Si0.15-0.3%…

10кп – конструкционная углеродистая качественная сталь

Характеристика стали марки 10кп

10КП – Сталь конструкционная углеродистая качественная, хорошо сваривается, сварка осуществляется без подогрева и без последующей термообработки, способы сварки: ручная дуговая сварка, автоматическая дуговая сварка под флюсом и газовой защитой, КТС, ЭШС. 

Не склонна к флокеночувствительности, склонность к отпускной хрупкости отсутствует. Обрабатываемость резанием: в горячекатанном состоянии при в горячекатаном состоянии при HB 99-107 и σв=450 МПа,  К υ тв. спл=2,1 и Кυ б.ст=1,6. Нашла свое применение без термообработки после нормализации в изготовлени шайб, вилок, втулок, проушин, тяг, различных прокладок, электросварных труб, облицовка кузова, стаканов и других неответственных ненагруженных деталей к которым предъявляются требования высокой пластичности при работе в температурном режиме от -40 до + 450 0С без давления. Ковку производят при температурном режиме от 1250 до 800 0С, охлаждение производят на воздухе сечением до 300 мм.

Расшифровка стали марки 10кп

Расшифровка стали 10кп: получают конструкционные углеродистые качественные стали в конвертерах или в мартеновских печах. Обозначение этих марок сталей начинается словом «Сталь». Следующие две цифры указывают на среднее содержание углерода в сотых долях процента, цифры 10 обозначают содержание его около 0,1 процента. Буквы после содержания углерода обозначают степень раскиcления: кп — кипящая. По цене кипящие стали самые дешевые, но имеют порог хладноломкости на 30 – 40 % выше, чем стали спокойные. Сталь 10кп – сталь конструкционная , малоуглеродистая, качественная, содержащая 0,1% углерода с кипящей разливки.

Поставка 10кп

Поставляется в виде сортового проката, в том числе и фасонного по регламенту ГОСТ 2590-2006 Прокат стальной горячекатаный круглый, ГОСТ 2591-2006 Прокат стальной горячекатаный квадратный, ГОСТ 1133-71 Сталь кованная круглая и квадратная, ГОСТ 19771-93 Уголки стальные гнутые равнополочные, ГОСТ 8509-93 Уголоки стальные горячекатаные равнополочные, ГОСТ 8510-86 Уголки стальные горячекатаные неравнополочные, ГОСТ 103-2006 Прокат сортовой стальной горячекатаный полосовой, ГОСТ 503-81 Лента холоднокатаная из низкоуглеродистой стали, ГОСТ 103-76 Полоса стальная горячекатаная, ГОСТ 82-70 Прокат стальной горячекатаный широкополосный универсальный, ГОСТ 3282-74 Проволока стальная низкоуглеродистая общего назначения, ГОСТ 17305-71 Проволока из углеродистой конструкционной стали, ГОСТ 3262-75 Трубы стальные водогазопроводные.

Сортовой и фасонный прокат  ГОСТ  19772-93;   ГОСТ  8281-80;   ГОСТ  8282-83;   ГОСТ  8283-93;   ГОСТ  2879-2006;   ГОСТ  2591-2006;   ГОСТ  2590-2006;   ГОСТ  8278-83;   ГОСТ  19771-93;   ГОСТ  1133-71;   ГОСТ  10551-75;   ГОСТ  9234-74;   ГОСТ  11474-76;
Листы и полосы  ГОСТ  103-2006;   ГОСТ  6765-75;   ГОСТ  82-70;   ГОСТ  16523-97;   ГОСТ  19904-90;   ГОСТ  19903-74;   ГОСТ  14918-80;
Ленты  ГОСТ  3560-73;
Сортовой и фасонный прокат  ГОСТ  8559-75;   ГОСТ  10702-78;   ГОСТ  1050-88;   ГОСТ  8560-78;   ГОСТ  7417-75;   ГОСТ  14955-77;   ГОСТ  1051-73;
Листы и полосы  ГОСТ  13345-85;   ГОСТ  4405-75;   ГОСТ  4041-71;   ГОСТ  1577-93;   ГОСТ  24244-80;
Ленты  ГОСТ  19851-74;   ГОСТ  10234-77;   ГОСТ  503-81;
Трубы стальные и соединительные части к ним  ГОСТ  3262-75;   ГОСТ  10704-91;   ГОСТ  10707-80;   ГОСТ  10705-80;
Классификация, номенклатура и общие нормы  ГОСТ  2771-81;
Проволока стальная низкоуглеродистая  ГОСТ  5663-79;   ГОСТ  792-67;   ГОСТ  1526-81;
Проволока стальная средне- и высокоуглеродистая  ГОСТ  3920-70;   ГОСТ  9850-72;   ГОСТ  17305-91;   ГОСТ  7372-79;   ГОСТ  26366-84;

Химический состав стали 10кп

CSiMnNiSPCrCuAs
0.07 – 0.14до   0.070.25 – 0.5до 0.3до 0.04до 0.035до 0.15до 0.3до 0.08

Температура критических точек 10кп

Критическая точка Температура
Ac1732
Ac3(Acm)870
 Ar3(Arcm854
Ar1680

Механические свойства стали 10кп

ГОСТ Вид поставки σв(МПа)δ5 ( δ4 ) (%)ψ %НВ, не более 
   не менее
 10702-78   Сталь калиброванная и калиброванная со специальной отделкой    
после отжига или отпуска315-41050143
после сфероидизирующего отжига295-39050143
нагартованная без термообработки370 8 55179
4041-71 (Образцы поперечные)Листы термообработанные 1-2-й категории275-41032114
10234-77  Лента плющенная:    
нагартованная500-800
отоженнаяДо 45020
503-81   Лента холоднокатаная:    
мягкая315-440-17
полунагартованная375-510-7
нагартованная440-590-4

Физические свойства стали 10кп

TемператураE 10– 5a 10 6lrCR 10 9
0СМПа1/ГрадВт/(м·град)кг/м3Дж/(кг·град)Ом·м
201.86  7856  
100 12.4587832466190
200 13.2547800479263
300 13.9497765 352
400 14.5457730512458
500 14.9407692 584
600 15.1367653567734
700 15.3327613 905
800 12.1297582 1081
900 14.8277594 1130
1000 12.6    

При температуре +20 0С плотность стали составляет 7856 кг/м3

Технологические свойства стали 10кп

        Свариваемость:    без ограничений.
        Флокеночувствительность:    не чувствительна.
        Склонность к отпускной хрупкости:    не склонна.

Твердость стали 10кп

Твердость 10кп Проката калиброванного нагартованного по ГОСТ 10702-78HB 10 –1 = 179 МПа
Твердость 10кп, Лист термообработаный по ГОСТ 4041-71HB 10 -1 = 114 МПа
Твердость 10кп  листового проката после отжига по ГОСТ 1577-93HB 10 -1 = 137 МПа

Зарубежные аналоги стали марки 10кп

США1008, 1010, 1012, A621
Германия1.0334, DD11, StW22, UStW23
ЯпонияSPh3A, SPHD, SPHE, SWRCh20R, SWRCh22R
Франция1C, 2C, FB10, FR10, XC10
Англия040A10, 14HR, 3HR
ИталияFeP12
ИспанияAP12
Китай10F, ML10
Чехия12010

состав, ГОСТы. Какие характеристики имеет кипящая сталь 10 кп

Из качественной углеродистой конструкционной стали марки 10кп делают детали, к которым предъявляются следующие требования: хорошая свариваемость, высокая пластичность, условия эксплуатации – от -20оС до + 450оС. Это предопределяет широкую номенклатуру изделий, среди которых превалируют шайбы, втулки, патрубки, прокладки, всевозможные ёмкости и пр. В качестве замены сплава марки 10кп могут выступать стали марок 08кп, 10 и 15кп. При этом стоит отметить, что сталь 10кп является кипящей, т.е. выделяющей газы при кристаллизации.

Сталь 10кп: ГОСТы и применение

Качественный конструкционный углеродистый сплав марки 10кп широко применяется в современной промышленности. Получаемые из данного материала детали могут работать при t<=450°С, оставаясь при этом высоко пластичными. Наряду с износостойкостью и высокой поверхностной твердостью, а также невысокой прочностью сердцевины материала, эта особенность крайне важна для создания высококачественных шайб, втулок, винтов и других соединительных деталей.

В целом, для стали марки 10кп, находящейся в холодном состоянии, характерна высокая пластичность и малая прочность. Это обстоятельство делает широко востребованными тонкие листы стали 15кп, которые отжигаются или нормализуются, после чего идеально подходят для обработки холодной штамповкой с глубокой вытяжкой. Простота применения технологии штамповки объясняется малым содержанием углерода, а также относительно небольшим количеством кремния, в таком сочетании дающим мягкую сталь.

Сплав марки 10кп нередко дополнительно подвергается цементации, которая позволяет получать изделия с высокой твёрдостью поверхности при невысокой прочности сердцевины. Именно так сегодня производят большинство тяг, проушин, втулок и других схожих деталей.

ГОСТы, по которым выпускается сортовой прокат стали 10кп:

  • ГОСТы 4041-71, 19903-74 и 1577-93 – лист толстый
  • ГОСТы 19903-74, 19904-90 и 16523-97 – лист тонкий
  • ГОСТы 7417-75, 10702-78 и 8560-78 – калиброванный пруток
  • ГОСТы 14955-77 и 10702-78 – шлифованный пруток
  • ГОСТы 17305-71, 5663-79 и 2771-81 – проволока
  • ГОСТы 10705-80 и ГОСТ 10704-91 – труба
  • ГОСТы 82-70 и 1577-93 – полоса
  • ГОСТы 10234-77 и 503-81 – лента

Сталь 10кп: состав и основные характеристики

По своему химическому составу сплав 10кп полностью соответствует углеродистому качественному конструкционному материалу (соотношение в процентах):

  • Fe – около 98,0%
  • Mn – 0,25-0,5%
  • Ni – не больше 0,25%
  • Cu – не больше 0,25%
  • C – 0,07-0,14%
  • Cr – не больше 0,15%
  • As – не больше 0,08%
  • Si – не больше 0,07%
  • S – не больше 0,04%
  • P – не больше 0,035%

Механические характеристики сплава марки 15кп представлены ниже:


Данный материал наделен относительно высокой твердостью – HB 10-1=179 МПа, не чувствителен к образованию флокенов, подвергается сварке без ограничений (исключение – ХТО детали). Основными способами сварки стали 15 кп являются КТС, РДС и АДС. Ковка сплава осуществляется при t=1300-700°С, после чего готовое изделие охлаждается на воздухе.

Сталь 30 конструкционная углеродистая качественная

Заменители

Иностранные аналоги

Германия DIN
(Евронормы EN)
ЯпонияСША
С30 (1.0528)S30CM1031,
1030

Расшифровка

Цифра 30 обозначает, что среднее содержание углерода в стали составляет 0,30%.

Характеристики и назначение

Сталь марки 30 относится к нелегированным специальным конструкционным качественным углеродистым сталям и применяется при изготовлении деталей невысокой прочности, например:

  • тяги,
  • серьги,
  • траверсы,
  • рычаги,
  • валы,
  • звездочки,
  • шпиндели,
  • цилиндры прессов,
  • соединительные муфты

Сталь марки 30 применяется также для изготовления:

  • штропов для вертлюгов,
  • крюков и элеваторов,
  • подъемных крюков,
  • осей,
  • талевых блоков и крон-блоков,
  • лопастей глиномешалок,
  • фланцев,
  • валиков,
  • установочных колец,
  • грунд-букс вертлюгов,
  • деталей буровых лебедок

Сталь марки 30 рекомендуется также дли изготовления некоторых деталей оборудовании нефтеперерабатывающих заводов:

  • шатунных болтов,
  • валор паровых частей насосов,
  • поршневых штоков,
  • валов центробежных насосов,
  • болтов,
  • запорных элементов арматуры, работающей при температуре до 300°C в некоррозионной среде,
  • решеток теплообменннков с плавающей головкой, предназначенных для работы с некоррознонной нефтью и ее продуктами,
  • крепежных деталей, работающих при температуре 375°C

В нормализованном состоянии сталь марки 30 применяется для изготовления деталей, испытывающих сравнительно небольшие напряжения (грундбуксы вертлюгов, крюки, фланцы, установочные кольца и т. д.), а после закалки и высокого отпуска применяется для изготовления таких деталей, как валики, оси, траверсы и вилки буровых лебедок, валы центробежных насосов и т.д.

Изменение механических свойств стали марки 30 в зависимости от температуры отпуска показано на рисунке ниже.

к содержанию ↑

Химический состав, % (ГОСТ 1050-88)

CSiMnCrSРCuNiAs
не более
0,27-0,350,17-0,370,50-0,800,250,040,0350,250,250,08

Химический состав, % (ГОСТ 1050-2013)

Марка
стали
Массовая доля элементов, %
CSiMnPSCrNiCu
не более
300,27-0,350,17-0,370,50-0,800,0300,0350,250,300,30
к содержанию ↑

Температура критических точек, °С

Ac1Ac3Ar3Ar13
730820796680380

Термообработка

Сталь марки 30 подвергают нормализации с температуры 880-900°C.

Закалка производится в воде с температуры 860-880°C и отпуск — при 550-600°C.

Применение стали 30 для крепежных деталей (ГОСТ 32569-2013)

Марка
стали
Технические
требования
Допустимые
параметры
эксплуатации
Назначение
Температура
стенки, °С
Давление
среды,
МПа (кгс/см2),
не более
30
ГОСТ 1050,
ГОСТ 10702
СТП 26.260.2043От -40 до +42510(100)Шпильки, болты
16(160)Гайки
От -40 до +450Шайбы
к содержанию ↑

Применение стали 30 (ГОСТ 1050) для кислородной арматуры (по ГОСТ 12.2.052)

Давление кислорода,
МПа (кгс/см2),
не более
В арматуре
отключения КИП
(DN ≤ 6)
в запорной арматурев регулирующей арматуре
при управлении
местномдистанционномместномдистанционном
корпусдетали
затвора
корпусдетали
затвора
корпусдетали
затвора
корпусдетали
затвора
корпусдетали
затвора,
шпиндель с
запорным
конусом ≥60°
1,6 (16)0,6 (6)1,6 (16)

ПРИМЕЧАНИЕ. Арматура из углеродистых сталей и чугунов с покрытием из органосиликатных материалов приравнивается к арматуре из нержавеющих сталей.

к содержанию ↑

Твердость HB (по Бринелю)(ГОСТ 1050-2013)

Марка
стали
Твердость HB,
не более, для
металлопродукции
горячекатаной
и кованой
калиброванной и
со специальной
отделкой
поверхности
без термической
обработки
после отжига
или высокого
отпуска
нагартованнойпосле отжига
или высокого
отпуска
3017922979

ПРИМЕЧАНИЕ. Знак «-» означает, что твердость не нормируют и не контролируют

к содержанию ↑

Механические свойства металлопродукции (ГОСТ 1050-2013)

Механические свойства, не менее
Предел
текучести
σ0,2, Н/мм2
Предел
прочности
σв, Н/мм2
Относительное
удлинение
δ5, %
Относительное
сужение
ψ, %
2954902150

Нормированные механические свойства металлопродукции калиброванной в нагартованном или термически обработанном состоянии

Марка
стали
Механические свойства, не менее, для металлопродукции
нагартованнойотожженной или высокоотпущенной
Предел
прочности
σв, Н/мм2
Относительное
удлинение
δ5, %
Относительное
сужение
ψ, %
Предел
прочности
σв, Н/мм2
Относительное
удлинение
δ5, %
Относительное
сужение
ψ, %
305607354401745
к содержанию ↑

Механические свойства металлопродукции из стали 35 в зависимости от размера (ГОСТ 105-2013)

Механические свойства
металлопродукции размером
Предел
текучести
σ0,2, МПа
не менее
Предел
прочности
σв, МПа
Относительное
удлинение
δ5, %
Работа
удара
KU, Дж
не менее
до 16 мм включ.
400600-7501830
св. 16 до 40 мм включ.
355550-7002030
св. 40 до 100 мм включ.
295500-6502130

ПРИМЕЧАНИЕ.

  1. Механические свойства металлопродукции из стали марки 30 распространяются на металлопродукцию размером до 63 мм включ.
  2. Значения механических свойств приведены для металлопродукции круглого сечения. Для прямоугольных сечений диапазоны эквивалентных диаметров — в соответствии с приложением Б (ГОСТ 1050-2013).
к содержанию ↑

Механические свойства проката

ГОСТСостояние поставкиСечение, ммПредел
текучести
σ0,2, МПа
Предел
прочности
σв, МПа
Относительное
удлинение
δ5, %
Относительное
сужение
ψ, %
Твердость HB, не более
не менее
ГОСТ 1050-88Сталь горячекатаная,
кованая,
калиброванная и серебрянка
2-й категории
после нормализации
252904902150
Сталь калиброванная 5-й категории:
после нагартовки560735
после отжига или высокого отпуска4401745
ГОСТ 10702-78Сталь калиброванная
и калиброванная со
специальной отделкой
после отжига или отпускаДо 57045179
после сфероидизирующего отжигаДо 52045179
нагартованная без термообработки560740229
ГОСТ 1577-93Лист отожженный
или высокоотпущенный
8043024
ГОСТ 1577-93Полоса нормализованная
или горячекатаная
6-252334902150
ГОСТ 16523-89(образцы поперечные)Лист горячекатаныйДо 2440-590(19)
2-3,9440-590(20)
Лист холоднокатаныйДо 2440-590(20)
2-3,9440-590(21)
ГОСТ 16523-89
(образцы категорий
поперечные)
Лист
термообработанный
1 и 2-й
4-14430-59024149
ГОСТ 2284-79Лента холоднокатаная:
отожженная,0,1-4400-650(16)
нагартованная,
класс
прочности Н1
0,1-4650-850
ГОСТ 10234-77Лента
отожженная
плющеная
0,1-4До 60015
к содержанию ↑

Механические свойства поковок после нормализации (ГОСТ 8479-70)

Сечение, ммКППредел
текучести
σ0,2, МПа
Предел
прочности
σв, МПа
Относительное
удлинение
δ5, %
Относительное
сужение
ψ, %
KCU, Дж/см2Твердость НВ, не более
не менее
300-500175175350224554101-143
500-800204049
100-300195195390235054111-156
300-500204549
500-800183844
100-300215215430204849123-167
300-500184044
500-800163539
До 100245245470224849143-179
100-300194239
300-500173534
к содержанию ↑

Механические свойства в зависимости от температуры отпуска

tотп, °СПредел
текучести
σ0,2, МПа
Предел
прочности
σв, МПа
Относительное
удлинение
δ5, %
Относительное
сужение
ψ, %
КCU, Дж/см2Твердость НВ
400420-490560-68016-2453-6490-190153-189
500390-440540-63018-2761-68120-210150-175
600350-390490-57021-2866-72150-230138-158

ПРИМЕЧАНИЕ. Прокат. Закалка с 860 °С в воде; образцы диаметром 60 мм.

к содержанию ↑

Предел выносливости

Термообработкаσ-1, МПа
Закалка с 830 °С в масле;
отпуск при 640 °С,
σв = 530 МПа
255
Нормализация при 875 °С,
охл. на воздухе,
σв = 495 МПа
206

ПРИМЕЧАНИЕ. σ4001/100000 = 108 МПа, σ4251/100000 = 81 МПа, σ4501/100000 = 54 МПа, σ5001/100000 = 22 МПа.

Механические свойства при повышенных температурах

tисп, °С,Предел
текучести
σ0,2, МПа
Предел
прочности
σв, МПа
Относительное
удлинение
δ5, %
Относительное
сужение
ψ, %
KCU, Дж/см2
20320530255262
300205580215170
500145350247043
60078195358374
800984998
9007753100
10004856100
11003058100
12002164100
к содержанию ↑

Ударная вязкость KCU (ГОСТ 105-2013)

Марка сталиУдарная вязкость
KCU, Дж/см2,
не менее
3078

Ударная вязкость KCU

ТермообработкаKCU, Дж/см2, при температуре, °С
+20-40-60
Закалка с 860 °С в воде;
отпуск при 400 °С
724542

ПРИМЕЧАНИЕ. Заготовка диаметром 60 мм.

Технологические свойства

Температура ковки, °С: начала 1280, конца 750. Заготовки сечением до 800 мм охлаждаются на воздухе.

Свариваемость — ограниченно свариваемая. Способы сварки: РДС, АДС под флюсом и газовой защитой, ЭШС. Рекомендуется подогрев и последующая термообработка. КТС без ограничений.

Обрабатываемость резанием — Kv б.ст = 1,7 в горячекатаном состоянии при НВ 143 и σв = 460 МПа.

Флокеночувствительность — не чувствительна.

Склонность к отпускной хрупкости — не склонна.

к содержанию ↑

Прокаливаемость, мм

Твердость HRCэ на расстоянии от торца, мм (закалка с 900 °С)
1,534,667,5
45,542,5352420,5

Критический диаметр d

ТермообработкаКоличество
мартенсита, %
d, мм, после закалки
в водев масле
Закалка50189

Вид поставки

  • Сортовой прокат, в том числе фасонный: ГОСТ 1050-88, ГОСТ 2590-88, ГОСТ 2591-88, ГОСТ 2879-88, ГОСТ 8509-93, ГОСТ 8510-86, ГОСТ 8240-89, ГОСТ 8239-89.
  • Калиброванный пруток ГОСТ 7417-75, ГОСТ 8559-79, ГОСТ 8560-78, ГОСТ 10702-78.
  • Шлифованный пруток и серебрянка ГОСТ 14955-77, ГОСТ 10702-78.
  • Лист толстый ГОСТ 1577-93, ГОСТ 19903-74.
  • Лист тонкий ГОСТ 16523-89.
  • Лента ГОСТ 6009-74, ГОСТ 2284-79, ГОСТ 10234-77.
  • Полоса ГОСТ 103-76, ГОСТ 82-70, ГОСТ 1577-93.
  • Проволока ГОСТ 5663-79, ГОСТ 17305-91.
  • Поковки и кованые заготовки ГОСТ 1133-71, ГОСТ 8479-70.
к содержанию ↑

Плотность ρ

п кг/см3 при температуре испытаний, °С
Сталь20 °С
307850

Коэффициент линейного расширения

α*106, К-1
Марка сталиα*106, К-1 при температуре испытаний, °С
20-10020-20020-30020-40020-50020-60020-700
3012,112,913,614,214,715,015,2

Коэффициент теплопроводности λ Вт/(м*К)

Марка Сталиλ Вт/(м*К), при температуре испытаний, °С
20100200300400500600700
305251494643393632

Модуль Юнга (нормальной упругости) Е, ГПа

Марка СталиПри температуре испытаний, °С
20100200300400500600
30200196191185164

Модуль упругости при сдвиге на кручение G, ГПа

Марка сталиПри температуре испытаний, °С
20100200300400500600
3078777673696659

Удельная теплоемкость

c, Дж/(кг*К)
Марка сталиc, Дж/(кг*К), при температуре испытаний, °С
20-10020-20020-30020-40020-500
30470483546563764

границ | «Доктор» или «милая»? Расшифровка коммуникативного партнера по ЭКоГ передней височной доли во время неэкспериментального, реального социального взаимодействия

Введение

Существует давний интерес к изучению нейронной обработки естественных сенсорных стимулов и естественного поведения (Aertsen et al., 1981; Montague et al., 2002; Babiloni et al., 2006). Важной мотивацией для таких исследований является предыдущее исследование одиночных нейронов, показывающее, что нейронная активность в естественных, экологически более обоснованных условиях имеет другие статистические свойства, чем у искусственных стимулов: разреженное кодирование (Vinje and Gallant, 2000; Felsen and Dan, 2005; Yen и другие., 2007; Haider et al., 2010), а также точным (Dan et al., 1996; Mechler et al., 1998; Yao et al., 2007; Haider et al., 2010) и надежным (Haider et al., 2010) ; Herikstad et al., 2011) синхронизация спайков позволяет более эффективно передавать информацию. Таким образом, нейронная обработка в сложных реальных условиях не может быть сведена к суперпозиции ответов на небольшой набор простых (искусственных) стимулов, а, вероятно, опирается на более сложные нелинейные процессы [см. Hasson et al. (2010) для обзора].

В нескольких предыдущих исследованиях обработки естественных сенсорных стимулов использовались естественные звуки для изучения слуховой обработки у животных (Suga, 1978; Smolders et al., 1979; Арсен и др., 1981). На людях такие эксперименты были приняты (Nelken, 2004) и распространены на специфические для человека стимулы, такие как записи естественных историй (Fletcher et al., 1995; Brennan et al., 2010; Lerner et al., 2011). и фильмы (Zacks et al., 2001; Bartels and Zeki, 2004; Mukamel et al., 2005; Golland et al., 2007; Privman et al., 2007).

В другом направлении исследований использовались неэкспериментальные условия для выяснения нейронной основы неконтролируемых движений кистей и рук у обезьян (Evarts, 1965; Mavoori et al., 2005; Афлало и Грациано, 2006 г.; Jackson et al., 2006, 2007) и спонтанной, необученной речи у людей (Towle et al., 2008). Исследования в экспериментально неограниченных условиях позволяют уловить сложность и функциональное разнообразие поведения в реальной жизни более широко, чем с помощью стандартных лабораторных процедур (Gibson, 1950), и могут предотвратить возможное загрязнение результатов, вызванное экспериментальной средой как таковой (Bartlett, 1995). например, влиянием эмоциональной реакции испытуемых на экспериментатора (Ray, 2002).

Предыдущие исследования также использовали условия, приближенные к реальной жизни, для изучения тесно переплетенных процессов восприятия и производства, лежащих в основе социального взаимодействия у людей. Например, социальное взаимодействие изучалось с помощью экспериментов фМРТ в социальных контактах в виртуальной реальности между субъектами и виртуальными персонажами (Wilms et al., 2010; Ethofer et al., 2011; Pfeiffer et al., 2011). Кроме того, были разработаны методы одновременной записи мозговой активности двух или более взаимодействующих лиц с помощью ЭЭГ (Babiloni et al., 2006), фМРТ (Montague et al., 2002) и МЭГ (Baess et al., 2012). Таким образом можно исследовать различные виды интерактивного поведения, например, спонтанное общение субъектов во время игры (Montague et al., 2002; Babiloni et al., 2006), имитация движений других (Dumas et al., 2010). ), или коллективное создание музыки (Линденбергер и др., 2009).

Следуя этой тенденции к все более натуралистическим подходам, было бы очень интересно изучить деятельность мозга, лежащую в основе социального взаимодействия людей в реальной жизни, вне экспериментов.Это может позволить исследователям не только исключить нежелательные эффекты, вызванные экспериментальными установками, но и, более того, исследовать специфические виды ситуаций социального взаимодействия, которые не могут или с большим трудом поддаются экспериментальному изучению.

Однако такие исследования нейронной основы социального взаимодействия в неэкспериментальной среде реальной жизни в настоящее время отсутствуют (Hari and Kujala, 2009). Основными причинами отсутствия таких исследований являются методологические ограничения большинства методов регистрации у людей: традиционные методы визуализации [например,например, позитронно-эмиссионная томография (ПЭТ) или функциональная магнитно-резонансная томография (фМРТ)] требуют стационарного аппарата, в котором субъекты находятся в фиксированном положении, и поэтому эти методы нельзя использовать для измерения динамического, неограниченного поведения в реальной жизни. Неинвазивная электроэнцефалография (ЭЭГ) также плохо подходит для этой цели из-за ее ограниченного пространственного разрешения и высокой чувствительности к артефактам, например, вызванным речью или другими движениями (рис. 1).

Рис. 1. Пример артефактов, связанных с движением головы, при одновременной неинвазивной ЭЭГ, записанной скальпом (верхние 4 кривые) и ЭКоГ, записанной с использованием субдурально имплантированных электродов (нижние 6 кривых). Высота черной шкалы в правом нижнем углу графика соответствует 100 мкВ.

В настоящем исследовании мы впервые применили электрокортикографию человека (ЭКоГ) для изучения нейронных процессов, связанных с реальным социальным взаимодействием.Благодаря сочетанию превосходного временного разрешения и гораздо более высокой устойчивости к артефактам по сравнению с неинвазивными записями (см. рис. 1 и Ball et al., 2009a), ЭКоГ оказалась ценным методом исследования моторики человека (Crone et al., 1998a, b) и языковые (Cron et al., 2001a,b; Sinai et al., 2005) функции и стал многообещающим сигналом-кандидатом для клинических приложений интерфейса мозг-машина (BMI) (Leuthardt et al., 2006; Pistohl et al. ., 2008, 2012; Ball et al., 2009b), включая подходы к восстановлению речеобразования (Blakely et al., 2008; Лойтхардт и др., 2011; Пей и др., 2011). В настоящем исследовании мы выполнили апостериорный анализ данных ЭКоГ, непрерывно записываемых для преднейрохирургической диагностики в течение нескольких дней или недель в течение ежедневного стационарного пребывания пациентов с эпилепсией. На протяжении анализируемых периодов времени пациенты находились в сознании, полностью бодрствовали и демонстрировали широкий спектр социального поведения, включая активное взаимодействие с медицинским персоналом, семьей, друзьями и другими пациентами.

Предыдущие исследования социального взаимодействия в области лингвистики, социальной психологии и здравоохранения широко изучали общение между врачами и пациентами (Roter and Hall, 1989; Ong et al., 1995; Ха и Лонгнекер, 2010 г.; Новак, 2011). Напротив, взаимодействие между интимными партнерами находится в центре внимания психосоциологических и лингвистических исследований (Силларс и Скотт, 1983; Готтман и Нотариус, 2000; Пеннебейкер и др., 2003). Здесь мы стремились впервые выяснить дифференциальные нейронные процессы, лежащие в основе этих интерактивных ситуаций в реальном общении. Для этого мы сравнили разговоры, в ходе которых пациенты разговаривали либо со своими спутниками жизни (условие 1, С1), либо со своими лечащими врачами (условие 2, С2).Можно предположить, что эти два условия различаются в различных аспектах социального взаимодействия. Например, пациенты более близки и эмоционально привязаны к своим спутникам жизни и делятся с ними большим жизненным опытом, чем со своими врачами. И наоборот, беседы с врачами обычно более эмоциональны и основаны на фактическом общении (Good and Good, 1982).

Наш анализ был специально сосредоточен на височных полюсах (TP) и прилегающей области передней височной доли (ATL), потому что эти области связаны с несколькими процессами, играющими ключевую роль в социальном взаимодействии, включая автобиографическую память (Spreng et al., 2009), теория разума (ToM) (Spreng et al., 2009), понимание историй (март 2011 г.) и обработка лиц (Olson et al., 2007).

Мы исследовали модуляции спектральной мощности в TP и ATL, связанные с социальным взаимодействием в альфа (8–12 Гц) и тета (3–5 Гц) частотных компонентах ЭКоГ. Изменения коркового альфа-ритма ранее ассоциировались с динамическим социальным взаимодействием, включая зрительный контакт и межличностную дистанцию ​​(Gale et al., 1975), восприятием движений других (Tognoli et al., 2007) и социальной координации (Tognoli et al., 2007; Naeem et al., 2012). Сообщалось, что как увеличение (Gale et al., 1975; Tognoli et al., 2007), так и снижение (Boksem et al., 2009) альфа-частот отражают процессы социальной когнитивной обработки. Однако, насколько нам известно, ни в одном исследовании не изучались модуляции альфа-ритма в ATL во время социального взаимодействия, и в настоящее время неясно, можно ли использовать мощность альфа-ритма в качестве нейронного маркера социального познания в этой области мозга. Изменения тета-диапазона наблюдались в процессах, связанных с памятью, включая эпизодическое воспоминание (Gruber and Müller, 2006), автобиографическую память (Steinvorth et al., 2010) и распознавание знакомых лиц (Başar et al., 2006, 2007). Поэтому мы ожидали, что мощность тета-диапазона в наших целевых областях мозга будет подвергаться модуляции в результате обработки памяти во время социального взаимодействия.

Чтобы оценить потенциальную полезность нейронных различий во время общения с разными партнерами по диалогу для приложений BMI, мы также провели анализ классификации в одном испытании. Восстановление экспрессивной речи на основе ИМТ вызывает растущий интерес (Pei et al., 2012). До сих пор исследования ИМТ в основном были направлены на декодирование таких важных для коммуникации аспектов, как фонемы (Blakely et al., 2008; Guenther et al., 2009; Brumberg et al., 2011; Pei et al., 2011), слова (Kellis et al., 2011). al., 2010) и семантические сущности (Wang et al., 2011). В дополнение к этим подходам наше исследование делает первый шаг к расшифровке такой высокоуровневой информации, как личность говорящего, что может помочь в точном формировании языкового вывода.

Материалы и методы

субъектов

Трое пациентов, которым проводилась преднейрохирургическая диагностика фармакорезистентной эпилепсии с использованием ЭКоГ, были включены в это исследование после их письменного информированного согласия.Исследование было одобрено Этическим комитетом Университетского медицинского центра Фрайбурга. Два пациента (S1, S3) были правшами и один (S2) амбидекстр, все имели нормальный слух и не имели аффективных расстройств в анамнезе (подробнее см. табл. 1). Места электродов, проанализированные в настоящем исследовании, находились за пределами зоны начала припадка, что было определено медицинской диагностикой. Зоны начала корковых приступов в S1 и S2 находились в правой задней верхней височной извилине и в левой теменной области соответственно, как показано на рисунке 2.В S3 зона начала приступа находилась в левом гиппокампе и поэтому не была видна на поверхности коры.

Таблица 1. Данные пациента .

Рис. 2. Расположение всех имплантированных решетчатых и полосатых электродов у трех включенных субъектов (S1–3). (A) представляет собой вид сбоку правого полушария S1, а (B) и (C) показывают левое полушарие S2 и S3 соответственно. (D,E,F) Показать соответствующие нижние стороны мозга.Синим цветом отмечены все контакты, расположенные в НПС, контакты желтым цветом выявили языковые функции по результатам электростимуляции, а контакты пурпурным цветом располагались в зоне начала припадка. Координаты MNI электродов проецируются на стандартный мозг СЗМ. По этой причине некоторые контакты, которые на самом деле расположены в ATL, обозначенные синим цветом, могут выглядеть так, как будто они расположены в лобной доле.

Нейронные записи

Всем испытуемым были имплантированы электроды из платины или нержавеющей стали (Ad-Tech, Расин, Висконсин, США) диаметром 4 мм, покрытые пластинами из силикона и расположенные в виде регулярных сеток и полос с расстоянием между центрами 10 мм. межэлектродное расстояние.ЭКоГ регистрировали с помощью клинической ЭЭГ-системы (ITMed, Германия) с частотой дискретизации 1024 Гц, фильтром верхних частот с частотой среза 0,032 Гц и сглаживающим фильтром нижних частот на частоте 379 Гц. Цифровые видеозаписи (частота кадров 25 Гц), синхронизированные с ЭКоГ, были получены для всех испытуемых.

Периоды разговора

На основе текущих цифровых видеозаписей мы определили периоды времени, в течение которых пациенты были вовлечены в разговоры со своими соответствующими спутниками жизни (Состояние 1; C1) или лечащими врачами (Состояние 2; C2), см. Таблицу 2.Выбранные эпохи содержали записи периодов времени, в течение которых пациенты вели естественную, необученную беседу. Для всех испытуемых продолжительность периодов времени восприятия речи и производства речи была примерно сбалансирована между С1 и С2. Положение собеседников в комнате не ограничивалось предварительной инструкцией. Пациенты сидели или лежали в постели с проводным подключением электродов к непереносным усилителям. Во время выбранных периодов разговора пациенты не ели и не активно двигались.Таким образом, эпохи, выбранные с помощью этой процедуры, не обязательно соответствуют разговорам целиком. В ходе бесед все пациенты были в полном сознании, в сознании, могли говорить, двигаться, жестикулировать.

Таблица 2. Имплантация электродов и детали анализа .

Предварительная обработка нейронных данных

Для каждого отдельного субъекта записи ЭКоГ со всех каналов были повторно привязаны к общему среднему эталону всех имплантированных электродов ЭКоГ, расположенных за пределами зоны начала припадка.Для расчета спектров мощности с временным разрешением мы применили краткосрочное преобразование Фурье с использованием последовательных, неперекрывающихся 1-секундных окон записанных сигналов ЭКоГ, сдвинутых с шагом в 1 с, в результате чего разрешение по частоте составило 1 Гц. .

Гипотезы настоящего исследования относятся к модуляциям в тета- и альфа-диапазонах. Поэтому мы сосредоточили наш анализ на этих конкретных диапазонах частот. Тета и альфа были определены как диапазон 3–5 Гц и 8–12 Гц соответственно. Мы дополнительно проанализировали высокую гамма-диапазон в диапазоне 70–150 Гц, поскольку высокая гамма — это частотный диапазон, который широко изучался в предыдущих исследованиях ЭКоГ (Crone et al., 1998б, 2001а; Шалк и др., 2007 г.; Болл и др., 2009b). Для каждого канала была рассчитана медианная спектральная мощность для тета-, альфа- и высокогамма-диапазонов для каждой 1-секундной составляющей эпох С1 и С2. Для статистического сравнения все значения мощности в состоянии партнера С1 были проверены по сравнению со значениями мощности в состоянии врача С2 с использованием непараметрического критерия суммы рангов Уилкоксона, подходящего для неравных размеров выборки (Sheskin, 2007). Сокращение размера выборки в большей группе снизит статистическую мощность и поэтому не рекомендуется (Rosner and Glynn, 2009).Мы скорректировали полученные значения p для множественных сравнений по количеству условий, каналов и частотных диапазонов (тета, альфа и гамма) с использованием метода коэффициента ложных открытий (FDR) (Benjamini and Yekutieli, 2001) с порог p < 0,001. На рис. 3 показан обзор вычислительных процедур, использованных в настоящем исследовании.

Рисунок 3. Систематический обзор методов, примененных в настоящем исследовании для сравнения нейронных ответов в TP и ATL трех субъектов во время социального взаимодействия с двумя разными партнерами по диалогу. В дополнение к статистике суммы рангов был проведен анализ декодирования одной попытки на основе 1-секундных эпох.

Мы обнаружили, что 11 электродов в S1 показали широкополосные спектральные различия во всем диапазоне частот от 0 до 150 Гц в двух условиях. Эти каналы не были включены в дальнейшие этапы анализа, поскольку такие широкополосные ответы могли быть вызваны артефактами (например, миографической активностью из-за движений головы), которые обычно демонстрируют широкий и однородно распределенный частотный спектр (Kovach et al., 2011). В качестве альтернативы, наблюдаемые широкополосные изменения могут возникать из-за неспецифических изменений частоты возбуждения нейронов (Bédard et al., 2006; Miller et al., 2009), представляющих другой тип ответа по сравнению с более узкополосными различиями в спектральной мощности. исследованы в настоящем исследовании. Такие узкополосные эффекты (например, в тета- или альфа-диапазоне) могут быть результатом колебательных механизмов, возникающих в результате синхронизированной активности нейронной сети, и могут поддерживать различные измерения нейронной интеграции, при этом функциональное значение конкретных колебаний зависит от вовлеченной системы мозга. Бужаки и Драгун, 2004).

Чтобы количественно оценить размер эффекта спектральных различий между C1 и C2, мы рассчитали во всех ATL-электродах площадь под кривой рабочей характеристики приемника (AUROC) для тета- и альфа-диапазонов отдельно, используя набор инструментов MES от Hentschke and Stüttgen. (2011).

Однократный анализ декодирования проводился с использованием регуляризованного линейного дискриминантного анализа, как описано в Pistohl et al. (2012). Декодирование проводилось для каждого субъекта отдельно на основе медианы (1) значений тета, (2) альфа и (3) тета и значений мощности альфа из всех доступных 1-секундных эпох C1 и C2.Поскольку компоненты тета- и альфа-сигнала могут нести дополнительную информацию, мы использовали тета- и альфа-функции вместе в (3). Точность декодирования была получена для декодирования со всех электродов в ATL вместе, а также для всех отдельных электродов ATL в отдельности. Для отдельных контактов полученные значения p были скорректированы по методу Бонферрони для многократного тестирования по числу анализируемых электродов.

Положения электродов

Послеоперационные наборы данных MPRAGE, взвешенные по Т1, были получены для каждого субъекта с изотропным разрешением 1 мм с использованием 1.МРТ-сканер 5-T Vision (Siemens, Эрланген, Германия). МР-изображения были нормализованы к стандартному мозгу в пространстве MNI (Монреальский неврологический институт) с использованием SPM5 (Friston et al., 1994). Артефакты электродных полостей, видимые на МР-изображениях, идентифицировали и маркировали вручную с помощью программ Matlab, разработанных в нашей лаборатории для МРТ-визуализации. Затем были извлечены соответствующие MNI-координаты положений электродов, и отдельные 3D-места расположения контактов были визуализированы на стандартной поверхности мозга.Места записи ATL, используемые для анализа, были выбраны на основе пространственного расширения ATL, как показано на рисунке 3. TP был определен в соответствии с описанием Brodmann области 38 (Brodmann, 1909), как это сделано в Olson et al. (2007).

Результаты

В соответствии с критериями, описанными в разделе «Материалы и методы», было отобрано

периода разговора С1 и С2. У испытуемых S1, S2 и S3 в наших мониторинговых видеороликах были доступны 2, 27 и 7 эпох разговоров со спутником жизни общей продолжительностью 4.4, 104,2 и 14,7 мин соответственно. Разговоры с врачом наблюдались в 4, 6 и 3 эпохах для S1, S2 и S3 общей продолжительностью 3,2, 6,4 и 2,5 мин соответственно.

Диалоговые периоды включали прерывистую речь и пассивное слушание, перекрывающуюся и неперекрывающуюся речь с различными просодическими характеристиками естественного дискурса и множество других аспектов естественного устного общения, включая заполнители разговора, паузы, мимику и жесты. Разговоры С1 со спутниками жизни касались различных тем, таких как состояние здоровья, семейное положение, сплетни, новости, публичные события, а также общие размышления о себе и жизни.В беседах С2 с лечащими врачами во время ежедневных медицинских обходов общими темами обсуждения были в основном клиническая ситуация, телесные жалобы, ход диагностического процесса и светская беседа, например, о продолжающемся футбольном матче и книге. Пациенты использовали немецкое официальное адресное местоимение «Sie» во время разговора с лечащими врачами, а неофициальное «Du» обращались к своим спутникам жизни. В течение анализируемых эпох разговора пространственная дистанция между пациентами и их партнерами по диалогу в среднем увеличивалась в состоянии С2 по сравнению с состоянием С1.

Из 61 места электродов в ATL, включенных в общий анализ, 45 электродов от 2 пациентов (30 в S2 и 15 в S3) были расположены в левом, а 16 из S1 в правом ATL (см. Рисунок 2 и Таблицу 2). ). Всего в ТП располагалось 25 электродов, а большинство всех остальных электродов располагалось в височно-базальной части ВПС. Второй наиболее частой топографической локализацией была верхняя височная извилина, за которой следовали нижняя височная извилина и средняя височная извилина (см. Таблицу 3 и Таблицу A1).

Таблица 3. Статистически значимые эффекты ( p < 0,001, FDR) в частотных диапазонах тета (θ), альфа (α) и гамма (γ), координаты MNI и анатомическое расположение электродов ATL в S2 .

Статистические тесты ( p < 0,001, с поправкой на FDR, см. «Материалы и методы» и рис. 4) выявили значительные различия в двух условиях в обоих протестированных диапазонах частот, как показано на рис. 4, в табл. 3 и в табл. A1. Спектральная мощность была значительно повышена в С1 по сравнению с С2 как в тета-, так и в альфа-диапазонах частот в билатеральной ТП (15-й и 17-й электроды соответственно) и в других частях ATL как на базальной, так и на латеральной поверхности (красные маркеры на рис. 4).Кроме того, некоторые каналы в более задних отделах ATL показали пониженную активность в C2 по сравнению с C1 (синие маркеры на рисунке 4). В целом, 16 электродов из левого и 9 электродов из правого ATL показали значительно более сильные спектральные отклики в C1, чем в C2 в тета-диапазоне, тогда как 28 и 8 электродов из левого и правого ATL, соответственно, показали повышенную мощность альфа. Только для ТП 11 электродов из левого и 6 из правого полушария показали эффекты в тета-диапазоне, а 9 и 6 электродов из левого и правого полушария соответственно показали эффекты в альфа-диапазоне.И наоборот, меньшая спектральная мощность в С1, чем в С2, может наблюдаться в 10 электродах левого ATL для тета-диапазона и в 4 электродах для альфа-диапазона. В правом полушарии отсутствовали электроды с повышенной мощностью в С2 по сравнению с С1. Все электроды с меньшей мощностью в С2, чем в С1, располагались кзади в ATL, и ни один из них не располагался в TP. Эти эффекты были обнаружены как в S2, так и в S3.

Рис. 4. Проекция положения электродов ЭКоГ на стандартный СЗМ мозг.Точками, квадратами и треугольниками обозначены электроды ЭКоГ от S1, S2 и S3 соответственно. Красный: повышенная активность в диапазонах тета (верхний ряд) и альфа (нижний ряд) при разговорах трех пациентов со своими спутниками жизни (С1) по сравнению с разговорами со своими врачами (С2). Синий: электроды со значительно повышенной активностью в C2 > C1. Зеленые и желтые пунктирные линии показывают анатомическое определение ATL и TP. (A) и (B) отображают эффекты в диапазоне тета-частот в правом и левом боковых ATL. (C) Показывает тета-эффекты в нижней ATL. (D–F) Отображение соответствующих эффектов для альфа-диапазона. (G) Показывает пример одного электрода в ATL с разницей в мощности тета- и альфа-диапазона в двух условиях.

Двадцать шесть электродов (22 и 4 для увеличения C1 и C2 соответственно) проявляли эффекты в одном и том же направлении как в тета-, так и в альфа-диапазоне; 16 электродов (13 и 3 для повышения С1 и С2 соответственно) показали изолированные эффекты в тета- или альфа-диапазоне; На 3 электродах выявлены обратные изменения тета- и альфа-диапазона.Из всех областей мозга с электродным покрытием, включая большие участки височных долей и части лобных и теменных долей (ориентация электродов у всех испытуемых см. на рис. 2), выраженные различия тета- и альфа-амплитуд в С1 по сравнению с С2 были сосредоточены на АТЛ. Таким образом, тета- и альфа-эффекты в нашем исследовании были пространственно сфокусированы на ATL (т. е. они не проявлялись пространственно-рассеянным образом по всем электродам) и специфичны для частотного диапазона.

Как упоминалось выше, хотя гипотезы настоящего исследования касались альфа- и тета-диапазонов, мы дополнительно проанализировали высокую гамма-активность.У всех испытуемых большинство электродов ATL со значительными изменениями в высоком гамма-диапазоне показали повышенную мощность в С2 по сравнению с С1 (43 электрода), тогда как только 5 электродов показали противоположный эффект. Электроды с большей мощностью гамма-диапазона в C1 по сравнению с C2 одновременно показали значительные эффекты (увеличение или уменьшение) в более низких частотных диапазонах. Тринадцать и 23 электрода со значительно большей мощностью гамма-диапазона в С2, чем в С1, в то же время показали снижение активности в тета- и альфа-диапазонах соответственно, а в 9-м и 4-м электродах в этих частотных диапазонах наблюдалось увеличение мощности (см. табл. 3 и табл. А1).Тем не менее, эффекты в гамма-диапазоне также возникали изолированно, без существенных различий в более низких частотных диапазонах между двумя состояниями, обнаруживаемыми на выбранном значимом уровне.

Значения AUROC электродов ATL в тета-диапазоне варьировались в двух условиях от 0,33 до 0,79 для S1, от 0,33 до 0,62 для S2 и от 0,26 до 0,5 для S3. Соответствующие значения для альфа-диапазона составляли от 0,23 до 0,7 для S1, от 0,35 до 0,51 для S2 и от 0,18 до 0,55 для S3.

Мы выполнили однократную классификацию 1-секундных эпох от C1 до C2 для всех электродов ATL вместе. Декодирование со всех электродов ATL на основе объединенной мощности тета- и альфа-диапазонов дало значения 0,67, 0,75 и 0,82 для S1, S2 и S3 соответственно. Более подробная информация, включая точность декодирования для отдельных частотных диапазонов тета и альфа, представлена ​​в таблице 4. В анализе, основанном на одиночных электродах, классификация также была значительно выше случайной ( p < 0.05, с поправкой Бонферрони) в 44% всех электродов ATL в S1, 46% в S2 и 20% в S3, когда декодирование выполнялось на основе комбинации тета- и альфа-диапазонов частот. Точность декодирования достигала значений до 0,6692, 0,6197 и 0,6788 в S1, S2 и S3 соответственно.

Таблица 4. Результаты однократного декодирования 1-секундных эпох C1 и C2 со всех электродов ATL вместе .

Обсуждение

Процессы человеческого мозга, лежащие в основе реального социального взаимодействия в повседневных ситуациях, было трудно изучать (Hari and Kujala, 2009), и поэтому до сих пор они оставались белым пятном в литературе.В настоящем исследовании мы продвинулись на один шаг дальше существующих подходов к изучению социального взаимодействия в условиях, близких к естественным, путем изучения мозговой активности, лежащей в основе взаимодействия в реальной жизни, у пациентов с эпилепсией с имплантированной ЭКоГ под диагностическим мониторингом. Больные эпилепсией, проходящие дооперационную диагностику, находятся в весьма специфической социальной ситуации. Как правило, они делят палаты с другими пациентами, имеют большое колебание клинического персонала и посетителей, входящих и выходящих из палаты, и постоянно контролируются видеокамерами, необходимыми для такого рода диагностических процедур.По этим причинам мы воздерживались от того, чтобы называть эту ситуацию «естественной», а использовали термин «реальная жизнь» для объяснения конкретных обстоятельств наших пациентов.

На основе текущих цифровых видеозаписей, синхронизированных с ЭКоГ от 3 пациентов, мы определили периоды времени, когда пациенты были вовлечены в разговоры со своими соответствующими спутниками жизни (C1) или с лечащими врачами (C2), и сравнили нейронную активность в этих двух случаях. условия, отражаемые спектральной мощностью в альфа- и тета-диапазонах частот.Оба частотных диапазона показали повышенную мощность в C1 по сравнению с C2 во многих электродах, расположенных билатерально в TP и во всей области ATL. Альфа- и тета-эффекты проявлялись в разных сочетаниях, например, только в альфа-, только в тета-диапазоне или одновременно в обоих частотных диапазонах. Некоторые контакты в более задних отделах левого НПС показали противоположные эффекты со значительно большей мощностью в С2 по сравнению с С1. Там модуляции альфа- и тета-ответов иногда даже шли в противоположных направлениях на одном и том же электроде (рис. 4).Эти задние области могут поддерживать другой набор когнитивных функций, которые могут сильнее задействоваться во время разговоров пациента с лечащим врачом. В качестве альтернативы, эффекты могут быть связаны с ингибирующей функциональной связью в расширенной корковой сети, где повышенная активность в одном узле может подавлять активность в другом, когда их связь тормозит.

Разговоры между пациентами и их спутниками жизни отличаются от разговоров с их лечащими врачами.Это становится очевидным из продолжительности и частоты периодов взаимодействия: действительно, все пациенты в нашем исследовании тратили гораздо больше времени на общение со своими партнерами, чем с врачами, с которыми они чаще всего встречались во время медицинских обходов для обсуждения вопросов здоровья. TP и вся область ATL были связаны с обработкой различных аспектов социального познания (Olson et al., 2007) и, таким образом, являются подходящими областями-кандидатами для исследования модуляций нейронной активности, связанных с социальным взаимодействием.Обладая широкими связями с другими корковыми и подкорковыми областями мозга (Morán et al., 1987; Kondo et al., 2003), ATL является подходящей ассоциативной областью для высокоуровневых операций по координации множества функций, участвующих в социальном познании. Олсон и др., 2007). Поскольку эта часть мозга топографически удалена от первичных слуховых и зрительных областей, обработка признаков низкого уровня вряд ли повлияла на наши результаты.

Важную роль в обработке автобиографической памяти приписывают TP, т.е.э., вспоминая личные события из жизни человека (Spreng et al., 2009). Автобиографические воспоминания являются неотъемлемой частью естественного разговора и обеспечивают основу для самораскрытия, развлечения, совместного планирования и решения проблем (Dritschel, 1991). Различные социальные ситуации включают различный объем автобиографической памяти в зависимости от социальной дистанции собеседника и других факторов (Dritschel, 1991). Таким образом, различия в использовании автобиографической памяти между C1 и C2 в нашем исследовании, возможно, сыграли важную роль в сильных эффектах в TP, которые мы наблюдали для C1.

Очевидно, что социальное взаимодействие посредством разговорной речи также имеет лингвистическое измерение. Область ATL была связана с обработкой, связанной с языком, включая понимание повествовательной речи (март 2011 г.), синтаксическую сложность естественных историй (Brennan et al., 2010), семантическое содержание (Visser et al., 2010) и повествование. контексте (Xu et al., 2005). Поскольку эти особенности, вероятно, могли различаться между C1 и C2, возможная модуляция спектральной мощности электродов ATL с помощью таких лингвистических особенностей.Однако подробный лингвистический анализ данных разговора вышел за рамки настоящего исследования и является темой для дальнейших исследований.

Другая подфункция социального взаимодействия, которая, возможно, способствовала наблюдаемым дифференциальным колебательным модуляциям в ATL, – это вывод о психических состояниях партнеров по диалогу, психическая функция, известная как ToM. ToM был связан с обработкой в ​​ATL (Spreng et al., 2009; Mar, 2011). Можно ожидать, что у пациентов будут более сложные и консолидированные внутренние модели своих партнеров по жизни, чем у их врачей, что может облегчить предсказание психических состояний партнера (Wolpert et al., 2003). Чтобы понять другого человека, может потребоваться распознавание различных черт, необходимых для успешного взаимодействия. Важная роль приписывается TP и ATL в распознавании знакомых лиц (Nakamura et al., 2000; Sugiura et al., 2011), имен (Sugiura et al., 2009) и голосов (Nakamura et al., 2001) человек. Помимо этих специфических эффектов, обработка знакомства в ATL может быть неспецифичной для домена (Nakamura et al., 2000). Действительно, общие эффекты были показаны для личных знакомых и известных людей (Sugiura et al., 2009), знакомые лица и сцены (Nakamura et al., 2000), инструменты и животные (Whatmough et al., 2002). Однако доказательства такой общности остаются противоречивыми (например, Barense et al., 2011).

Поскольку настоящее исследование проводилось у пациентов с эпилепсией и в не экспериментальных условиях, оно имеет определенные ограничения, которые будут рассмотрены ниже. Хотя зона начала приступа у всех наших пациентов располагалась за пределами области ATL (см. Рисунок 2), нельзя полностью исключить, что на наши наблюдения могла повлиять эпилептиформная активность.Кроме того, мы не можем исключить возможность перестройки, связанной с эпилепсией, у наших испытуемых. Таким образом, желательна проверка настоящих результатов на выборке пациентов с эпилепсией с разным происхождением приступов, а также в записях ЭКоГ у пациентов с другими неврологическими патологиями, например у пациентов с опухолями, и подтверждение наших результатов с помощью неинвазивных методов в здоровый контроль будет иметь важное значение.

Поскольку размещение электродов определялось исключительно клиническими потребностями, у трех субъектов с имплантированными ATL, включенных в настоящее исследование, было разное покрытие электродов.S2 и S3 имели электроды в левом полушарии, а S1 — в правом, и, в отличие от S1 и S2, у S3 не было базальных электродов (см. рис. 2). Эти топографические различия, возможно, повлияли на наши выводы. Однако различия в частотах тета и альфа постоянно наблюдались в разных условиях и у субъектов и могли наблюдаться на двусторонней основе как на базальной, так и на латеральной поверхности ATL. Поскольку количество субъектов с имплантированными ATL, доступных для настоящего исследования, было ограничено, мы не могли систематически учитывать различия между полушариями и базальными и периферическим полушариями.латеральная височная кора. Эти интересные темы необходимо рассмотреть в будущих исследованиях, основанных на большей группе пациентов.

Еще одна проблема неэкспериментального исследования заключается в том, что нам приходилось полагаться на доступный объем данных видео-ЭКоГ. У всех трех пациентов были более продолжительные беседы со своими партнерами, чем с лечащими врачами, с которыми они разговаривали только во время относительно коротких медицинских обходов. Как следствие, количество эпох С1 (партнер) превышало количество эпох С2 (лечащий врач, см. табл. 2), и этот факт необходимо было учитывать при выборе статистической процедуры, подходящей для групповых сравнений. с неодинаковыми размерами (Шескин, 2007).Кроме того, из-за нашего неэкспериментального подхода не обязательно только человеческое взаимодействие могло повлиять на наши результаты. Например, неспецифические эффекты из-за повышенного уровня возбуждения/стресса у пациентов во время разговора с врачом могли способствовать различиям в спектральной мощности при двух состояниях. Однако в нашем исследовании самые сильные амплитудные различия в более низких частотных диапазонах, особенно в альфа-диапазоне, были явно сосредоточены в области ATL, что говорит против объяснения наших результатов пространственно-глобальной модуляцией нервной активности, связанной с возбуждением.В предыдущем исследовании, посвященном влиянию естественных стрессоров на ЭЭГ в альфа-диапазоне, сообщается, что модуляции в этом частотном диапазоне преобладают в лобных областях (Lewis et al., 2007), а не в ATL-области, что свидетельствует в пользу мнения о том, что спектральная мощность модуляции, которые мы наблюдали в ATL, не могут быть сведены к неспецифическим эффектам, связанным с возбуждением/стрессом.

Помимо областей, представляющих интерес для настоящего исследования, другие области человеческого мозга были связаны с обработкой социального познания, такие как медиальная префронтальная кора, передняя поясная кора, нижняя лобная извилина, височно-теменной переход и миндалевидное тело (Фрит и Фрит, 2007).Дальнейшие исследования могут выявить новое понимание нейронной активации в этих и других частях нейронных сетей для социальной обработки в отношении различных коммуникативных ситуаций. Исследования также могут быть распространены на другие полосы частот. Хотя гипотезы настоящего исследования касались альфа- и тета-диапазонов, мы дополнительно проанализировали высокую гамма-активность и, как правило, обнаружили повышенную спектральную мощность в C2 по сравнению с C1. Эти изменения произошли без какой-либо строгой связи с изменениями в более низких частотных диапазонах, что, возможно, указывает на разный функциональный вклад высокочастотного гамма-диапазона в исследованных областях мозга во время социального взаимодействия.Эта полоса частот, помимо других функций, была связана с повышенным избирательным вниманием (Ray et al., 2008), и, таким образом, более высокая гамма в C2 может быть связана с более высокими требованиями к вниманию во время разговоров с лечащим врачом. Ранее предполагалось, что повышенная мощность в высокогамма-диапазоне в сочетании со сниженной мощностью на более низких частотах указывает на повышенную обработку информации (Pfurtscheller and Lopes da Silva, 1999). Таким образом, наше наблюдение большей мощности гамма-излучения вместе с меньшей мощностью нижних частот в С2 по сравнению с С1 также может быть связано с большей когнитивной нагрузкой при беседах с лечащим врачом, чем с партнером.

Два типа социальных ситуаций включали разную степень формальности: пациенты обращались к своим лечащим врачам в более официальном стиле, чем к своим спутникам жизни. Обычно выбор неязыкового и языкового поведения зависит от того, с кем разговаривает человек. Такая метаинформация может быть полезна для приложений BMI, направленных на восстановление выразительной речи. В естественном дискурсе расшифровка того, разговаривает ли пользователь ИМТ с незнакомцем, другом или близким партнером, может предоставить полезную информацию для выбора стиля и регистрации для создания соответствующего речевого вывода.Таким образом, в то время как более официальный, стандартный язык предпочтительнее при общении с менее знакомыми людьми и властями, более разговорные выражения и нестандартные языковые варианты могут быть предпочтительны в разговорах с более близкими людьми. Контекстная чувствительность может позволить ИМТ переключаться между социальными ситуациями и выбирать соответствующий режим речи. Таким образом, чувствительность к контексту должна быть принципом, позволяющим исключить путаницу с потенциально конкурирующими (например, фонетически похожими) терминами и предотвратить неточный вывод.Например, надежное расшифровывание состояний C1 и C2, исследованное в настоящем исследовании, по корковой активности в ATL, может помешать пользователю ИМТ напугать любимого человека, назвав его «доктор» и похвалив лечащего врача «дорогой».

Таким образом, интересным шагом в настоящем исследовании было изучение возможности декодирования идентичности различных партнеров по разговору из сигналов ЭКоГ в ATL. Основываясь на частотных компонентах тета и альфа, такое декодирование действительно было возможно у всех пациентов, и его значимость была намного выше случайной (Таблица 4).Здесь мы классифицировали только двух партнеров по общению, и потребуются дальнейшие исследования, чтобы установить, могут ли и в какой степени сигналы от ATL использоваться для извлечения информации о других говорящих из текущей деятельности. Улучшенная классификация может быть достигнута за счет использования альтернативных областей мозга, компонентов сигнала и алгоритмов декодирования. Более высокое пространственное разрешение с использованием такой методики записи, как микро-ЭКоГ (Blakely et al., 2008; Gierthmuehlen et al., 2011; Viventi et al., 2011), весьма вероятно, увеличит объем декодируемой информации.Мы ожидаем, что декодирование информации, связанной с говорящим, с помощью таких оптимизированных методов может быть ценным вкладом в восстановление речи на основе ИМТ у парализованных пациентов.

Outlook

Как обсуждалось выше, различные подфункции, участвующие в социальном взаимодействии, вероятно, внесли свой вклад в наблюдаемые модуляции нейронной активности в настоящем исследовании. Выделение отдельных функциональных аспектов, которые являются неотъемлемой частью социального взаимодействия, будет иметь решающее значение для будущих исследований.Доступно множество инструментов для характеристики различных особенностей поведения в реальной жизни на различных уровнях описания. Например, количество единиц автобиографической памяти, присутствующих в естественном дискурсе, можно оценить с помощью системы Дритшеля (1991). Доступно множество других количественных систем, которые можно применять для изучения поведения человека в реальной жизни. Таким образом, Система кодирования лицевых движений Экмана и Фризена (1978), доступная в качестве автоматического инструмента (Хамм и др., 2011; Маатен и Хендрикс, 2011), может использоваться для вывода эмоций из движений лицевых мышц.Подходы анализа разговоров (Sacks et al., 1974), такие как Система дискуссионного кодирования, использовались для анализа различных межличностных и функциональных аспектов социального взаимодействия (Schermuly et al., 2010). Лингвистические методы анализа дискурса также могут применяться в нейробиологических исследованиях (Brennan et al., 2010), и другие аспекты социального взаимодействия, такие как жесты, пространственная дистанция и язык тела, могут быть заслуживают изучения. Подобно подходам гиперсканирования, которые используют неинвазивные методы для записи одновременной активности мозга двух или более человек, даже исследования «гипер-ЭКоГ» или «гипер-ЭКоГ-ЭЭГ» могут рассматриваться как способ получения измерений активности мозга у нескольких субъектов. одновременно, причем один или несколько из них инвазивно регистрируются с помощью ЭКоГ.

Как обсуждалось в предыдущем абзаце, доступен широкий спектр инструментов, которые можно применять для уточнения и расширения реальных подходов ЭКоГ к исследованию социального взаимодействия. Основной целью будущих исследований в этом направлении будет достижение лучшего понимания коммуникативного успеха и неудачи. Как правило, существует большой общественный и научный интерес к тому, как коммуникативный успех во время социального взаимодействия может повлиять на отношения, например, на общение между парами в отношении удовлетворенности браком (Boland and Follingstad, 1987).Кроме того, несколько исследований показали, что именно при взаимодействии пациента и врача успешное общение является причиной удовлетворенности пациента и состояния здоровья (Stewart, 1984; Jozien, 1991; Staiger et al., 2005). В настоящем исследовании мы демонстрируем, что нейронную основу взаимодействия с разными партнерами по общению можно проследить с помощью ЭКоГ, зарегистрированных у пациентов с эпилепсией. Следующим шагом будет анализ записей ЭКоГ у пациентов с эпилепсией в отношении успешности общения, которое может быть, например.г., количественно с использованием анализа процесса взаимодействия Бейлса (Bales, 1950). Этот подход может не только выявить нейронные сигнатуры общения, но и предоставить информацию, которую можно использовать в качестве обратной связи для улучшения стратегий взаимодействия.

Экстраоперационная ЭКоГ является многообещающим сигналом-кандидатом для изучения социального взаимодействия, которое может дать новое понимание человеческого социального познания. Важно отметить, что такие данные можно получить без дополнительной нагрузки на пациентов и без необходимости проведения экспериментов.Широкий спектр феноменов взаимодействия и лежащих в их основе мозговых процессов можно исследовать с помощью апостериорного анализа . Эта возможность исследовать активность мозга в неэкспериментальных условиях может также вдохновить на дальнейшие экспериментальные исследования. Такой комбинированный подход может быть особенно полезен для выяснения нейронной основы человеческого социального взаимодействия.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Благодарности

Эта работа была поддержана Германской службой академических обменов (DAAD) и Федеральным министерством образования и исследований Германии (гранты BMBF 01GQ0420 для BCCN Freiburg, 01GQ0830 для BFNT Freiburg/Tübingen).

Ссылки

Арцен, А. М., Олдерс, Дж. Х., и Йоханнесма, П. И. (1981). Спектро-временные рецептивные поля слуховых нейронов травяной лягушки. III. Анализ отношения стимул-событие для естественных раздражителей. Биол.Кибер . 39, 195–209.

Опубликовано Резюме | Опубликован полный текст

Бабилони Ф., Чинкотти Ф., Маттиа Д., Маттиокко М., Де Вико Фаллани Ф., Точчи А., Бьянки Л., Марчиани М. Г. и Астольфи Л. (2006) . Гиперметоды гиперсканирования ЭЭГ. Конф. проц. IEEE инж. Мед. биол. Соц . 1, 3666–3669.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Баесс П., Жданов А., Хирвенкари Л., Макела Дж. П., Йоусмяки В. и Хари Р.(2012). Двойное сканирование МЭГ: процедура изучения слухового взаимодействия между двумя людьми в реальном времени. Фронт. Гум. Нейроски . 6:83. doi: 10.3389/fnhum.2012.00083

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Bales, RF (1950). Анализ процесса взаимодействия: метод изучения малых групп . Кембридж, Массачусетс: Аддисон-Уэсли.

Болл, Т., Керн, М., Мучлер, И., Эрцен, А., и Шульце-Бонхаге, А. (2009a). Качество сигнала одновременно регистрируемой инвазивной и неинвазивной ЭЭГ. Нейроизображение 46, 708–716.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Болл, Т., Шульце-Бонхаге, А., Эрцен, А., и Меринг, К. (2009b). Дифференциальное представление направления движения руки по отношению к корковой анатомии и функции. Дж. Нейронный инженер . 6, 016006.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Баренсе, М. Д., Хенсон, Р. Н. А., и Грэм, К. С. (2011). Восприятие и концепция: активность височной доли во время сложной дискриминации знакомых и новых лиц и объектов. Дж. Когн. Нейроски . 23, 3052–3067.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Бартлетт, SFC (1995). Воспоминание: исследование экспериментальной и социальной психологии . Кембридж: Издательство Кембриджского университета.

Башар, Э., Озгорен, М., Ониз, А., Шмидт, К., и Башар-Эроглу, К. (2007). Колебания мозга дифференцируют картину собственной бабушки. Междунар. Ж. Психофизиол . 64, 81–90.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Бенджамини, Ю.и Екутиэли, Д. (2001). Контроль частоты ложных обнаружений при многократном тестировании в зависимости. Энн. Стат . 29, 1165–1188.

Блейкли, Т., Миллер, К.Дж., Рао, Р.П.Н., Холмс, М.Д., и Оджеманн, Дж.Г. (2008). Локализация и классификация фонем с использованием сеток электрокортикографии высокого пространственного разрешения (ЭКоГ). Конф. проц. IEEE инж. Мед. биол. Соц . 2008, 4964–4967.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Бреннан, Дж., Нир Ю., Хассон У., Малах Р., Хигер Д. Дж. и Пюлькканен Л. (2010). Построение синтаксической структуры в передних отделах височной доли во время естественного прослушивания рассказа. Брэйн Ланг . 120, 163–173.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Бродманн, К. (1909). Vergleichende Lokalisationslehre der Grosshir-nrinde, in Ihren Prinzipien Dar-gestellt auf Grund des Zellenbaues . Лейпциг: Иоганн Амброзиус Барт Верлаг.

Брумберг, Дж.С., Райт, Э.Дж., Андреасен, Д.С., Гюнтер, Ф.Х., и Кеннеди, П.Р. (2011). Классификация предполагаемого производства фонем из хронических записей внутрикорковых микроэлектродов в речемоторной коре. Фронт. Нейроски . 5:65. doi: 10.3389/fnins.2011.00065

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Кроун, Н. Э., Боутман, Д., Гордон, Б., и Хао, Л. (2001a). Индуцированная электрокортикографическая гамма-активность при слуховом восприятии. Статья, удостоенная премии Brazier, 2001 г. клин. Нейрофизиол . 112, 565–582.

Опубликовано Резюме | Опубликован полный текст

Кроун, Н. Э., Хао, Л., Харт, Дж. Младший, Боутман, Д., Лессер, Р. П., Иризарри, Р., и Гордон, Б. (2001b). Электрокортикографическая гамма-активность при словообразовании в разговорной и жестовой речи. Неврология 57, 2045–2053.

Опубликовано Резюме | Опубликован полный текст

Кроун, Н. Э., Мильоретти, Д. Л., Гордон, Б., и Лессер, Р. П. (1998a). Функциональное картирование сенсомоторной коры человека с электрокортикографическим спектральным анализом.II. Событийная синхронизация в гамма-диапазоне. Мозг 121 (часть 12), 2301–2315.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Кроун, Н.Э., Мильоретти, Д.Л., Гордон, Б., Сирацкий, Дж.М., Уилсон, М.Т., Уэмацу, С., и Лессер, Р.П. (1998b). Функциональное картирование сенсомоторной коры человека с электрокортикографическим спектральным анализом. I. Рассинхронизация, связанная с альфа- и бета-событиями. Мозг 121 (часть 12), 2271–2299.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Дэн, Ю., Атик, Дж. Дж., и Рид, Р. К. (1996). Эффективное кодирование естественных сцен в латеральном коленчатом теле: экспериментальная проверка вычислительной теории. Дж. Нейроски . 16, 3351–3362.

Опубликовано Резюме | Опубликован полный текст

Дритшель, Б. (1991). Автобиографическая память в естественном дискурсе – методологическая заметка. Заяв. Познан. Психол . 5, 319–330.

Экман П. и Фризен В. (1978). Система кодирования мимических движений: метод измерения мимических движений .Пало-Альто, Калифорния: Consulting Psychologists Press.

Эвартс, Э. В. (1965). Связь частоты разрядов со скоростью проведения в нейронах пирамидного пути. Дж. Нейрофизиол . 28, 216–228.

Опубликовано Резюме | Опубликован полный текст

Флетчер П.С., Хаппе Ф., Фрит У., Бейкер С.К., Долан Р.Дж., Фраковяк Р.С. и Фрит С.Д. (1995). Другие разумы в мозгу: исследование функциональной визуализации «теории разума» в понимании историй. Познание 57, 109–128.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Friston, K.J., Holmes, A.P., Worsley, K.J., Poline, J.-P., Frith, C.D., and Frackowiak, R.S.J. (1994). Статистические параметрические карты в функциональной визуализации: общий линейный подход. Гул. Карта мозга . 2, 189–210.

Гейл, А., Спратт, Г., Чепмен, А.Дж., и Смоллбоун, А. (1975). ЭЭГ коррелирует зрительный контакт и межличностное расстояние. Биол. Психол . 3, 237–245.

Опубликовано Резюме | Опубликован полный текст

Гибсон, Дж.Дж. (1950). Восприятие визуального мира . Бостон, Массачусетс: Хоутон Миффлин.

Гиртмюлен, М., Болл, Т., Хенле, К., Ван, X., Риккерт, Дж., Рааб, М., Фрейман, Т., Штиглиц, Т., и Камински, Дж. (2011). Оценка массивов электродов μ ЭКоГ у мини-свиньи: экспериментальная процедура и нейрохирургический подход. J. Neurosci. Методы 202, 77–86.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Голланд Ю., Бентин С., Гелбард Х., Бенджамини Ю., Хеллер Р., Нир Ю., Хассон У. и Малах Р. (2007). Внешние и внутренние системы задней коры головного мозга человека, выявленные при естественной сенсорной стимуляции. Церебр. Кортекс 17, 766–777.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Хорошо, М.-Ж. Д. и Гуд Б. (1982). «Запросы пациентов в клиниках первичной медико-санитарной помощи», в Clinically Applied Anthropology , редакторы Н. Дж. Крисман и Т. Марецки (Дордрехт, Бостон, Лондон: Д.Рейдел Паблишинг Ко.), 275–295.

Готтман, Дж. М., и Нотариус, К. И. (2000). Обзор десятилетия: наблюдение за супружеским взаимодействием. Дж. Семейный брак . 62, 927–947.

Гюнтер, Ф. Х., Брумберг, Дж. С., Райт, Э. Дж., Нието-Кастанон, А., Турвиль, Дж. А., Панко, М., Ло, Р., Зиберт, С. А., Бартельс, Дж. Л., Андреасен, Д. С., Эхирим, П. , Мао, Х., и Кеннеди, PR (2009). Беспроводной интерфейс мозг-машина для синтеза речи в реальном времени. PLoS ONE 4:e8218.doi: 10.1371/journal.pone.0008218

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Хайдер, Б., Краузе, М. Р., Дуке, А., Ю, Ю., Турьян, Дж., Мазер, Дж. А., и Маккормик, Д. А. (2010). Синаптические и сетевые механизмы разреженной и надежной зрительной активности коры при неклассической стимуляции рецептивного поля. Нейрон 65, 107–121.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Хамм, Дж., Колер, К.Г., Гур, Р.К. и Верма Р. (2011). Автоматизированная система кодирования мимических движений для динамического анализа мимики при нервно-психических расстройствах. J. Neurosci. Методы 200, 237–256.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Херикстад, Р., Бейкер, Дж., Лашо, Ж.-П., Грей, К.М., и Йен, С.-К. (2011). Естественные фильмы вызывают серию спайков с низкой вариабельностью времени спайка в первичной зрительной коре головного мозга кошек. Дж. Нейроски . 31, 15844–15860.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Джексон, А., Мавури, Дж., и Фетц, Э.Э. (2007). Корреляции между одними и теми же клетками моторной коры и мышцами рук во время тренируемого задания, свободного поведения и естественного сна у макаки. Дж. Нейрофизиол . 97, 360–374.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Джексон А., Мориц С. Т., Мавури Дж., Лукас Т. Х. и Фетц Э. Э. (2006). Нейрочип BCI: к нейронному протезу для функции верхней конечности. IEEE Trans. Нейронная система. Реабилит.Eng . 14, 187–190.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Келлис С., Миллер К., Томсон К., Браун Р., Хаус П. и Грегер Б. (2010). Классификация произносимых слов с использованием потенциалов поверхностного локального поля. Конф. проц. IEEE инж. Мед. биол. Соц . 2010, 3827–3830.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Кондо, Х., Салим, К.С., и Прайс, Дж.Л. (2003). Дифференциальные связи височного полюса с орбитальной и медиальной префронтальной сетью у макак. Дж. Комп. Нейрол . 465, 499–523.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Ковач, С.К., Цучия, Н., Кавасаки, Х., Оя, Х., Ховард, М.А., 3-й, и Адольфс, Р. (2011). Проявление контаминации ЭМГ глазных мышц при внутричерепных записях человека. Нейроизображение 54, 213–233.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Лойтхардт, Э. К., Гаона, К., Шарма, М., Шрама, Н., Роланд, Дж., Фройденберг, З., Солис, Дж., Брешерс, Дж., и Шалк, Г. (2011). Использование электрокортикографической речевой сети для управления интерфейсом мозг-компьютер у людей. Дж. Нейронный инженер . 8, 036004.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Leuthardt, E.C., Miller, KJ, Schalk, G., Rao, R.P.N., и Ojemann, JG (2006). Компьютерный интерфейс мозга на основе электрокортикографии — опыт Сиэтла. IEEE Trans. Нейронная система. Реабилит. Eng . 14, 194–198.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Маатен, Л., и Хендрикс, Э. (2011). Классификация единиц действия с использованием активных моделей внешнего вида и условных случайных полей. Познан. Процесс . doi: 10.1007/s10339-011-0419-7. [Epub перед печатью].

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Мавури, Дж., Джексон, А., Диорио, К., и Фетц, Э. (2005). Автономный имплантируемый компьютер для регистрации и стимуляции нейронов у приматов без ограничений. J. Neurosci. Методы 148, 71–77.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Мехлер, Ф., Виктор, Дж. Д., Пурпура, К. П., и Шепли, Р. (1998). Надежное временное кодирование контраста нейронами V1 для переходных, но не для стационарных стимулов. Дж. Нейроски . 18, 6583–6598.

Опубликовано Резюме | Опубликован полный текст

Миллер, К. Дж., Соренсен, Л. Б., Оджеманн, Дж. Г., и ден Нийс, М. (2009). Степенной закон масштабирования электрического потенциала поверхности мозга. Вычисление PLoS. Биол . 5:e1000609. doi: 10.1371/journal.pcbi.1000609

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Монтегю, П.Р., Бернс, Г.С., Коэн, Д.Д., МакКлюр, С.М., Паньони, Г., Дхамала, М., Вист, М.С., Карпов, И., Кинг, Р.Д., Эппл, Н., и Фишер, Р.Э. ( 2002). Гиперсканирование: одновременная фМРТ во время связанных социальных взаимодействий. Нейроизображение 16, 1159–1164.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Мукамель, р., Гелбард Х., Ариэли А., Хассон У., Фрид И. и Малах Р. (2005). Связь между возбуждением нейронов, полевыми потенциалами и FMRI в слуховой коре человека. Наука 309, 951–954.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Накамура К., Кавасима Р., Сато Н., Накамура А., Сугиура М., Като Т., Хатано К., Ито К., Фукуда Х., Шорманн Т. и Зиллес, К. (2000). Функциональное определение затылочно-височных областей человека, связанное с обработкой лица и сцен. Исследование ПЭТ. Мозг 123 (часть 9), 1903–1912 гг.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Накамура К., Кавасима Р., Сугиура М., Като Т., Накамура А., Хатано К., Нагумо С., Кубота К., Фукуда Х., Ито К. и Кодзима, С. (2001). Нейронные субстраты для распознавания знакомых голосов: исследование ПЭТ. Нейропсихология 39, 1047–1054.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Онг, Л. М., де Хаес, Дж.C., Hoos, A.M., and Lammes, F.B. (1995). Общение врача и пациента: обзор литературы. Соц. науч. Мед . 40, 903–918.

Опубликовано Резюме | Опубликован полный текст

Пей, X., Барбур, Д.Л., Лойтхардт, Э.К., и Шалк, Г. (2011). Расшифровка гласных и согласных в произнесенных и воображаемых словах с использованием электрокортикографических сигналов у людей. Дж. Нейронный инженер . 8, 046028.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Пфайффер, Ю.Дж., Тиммерманс Б., Бенте Г., Фогелей К. и Шильбах Л. (2011). Невербальный тест Тьюринга: отличить разум от машины в социальном взаимодействии на основе взгляда. PLoS ONE 6:e27591. doi: 10.1371/journal.pone.0027591

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Pfurtscheller, G., и Lopes da Silva, F.H. (1999). Событийная синхронизация и десинхронизация ЭЭГ/МЭГ: основные принципы. клин. Нейрофизиол . 110, 1842–1857 гг.

Опубликовано Резюме | Опубликован полный текст

Пистоль, Т., Ball, T., Schulze-Bonhage, A., Aertsen, A., and Mehring, C. (2008). Прогнозирование траекторий движения рук по ЭКоГ-записям человека. J. Neurosci. Методы 167, 105–114.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Пистоль, Т., Шульце-Бонхаге, А., Эрцен, А., Меринг, К., и Болл, Т. (2012). Расшифровка естественных типов захвата по ЭКоГ человека. Нейроизображение 59, 248–260.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Привман, Э., Нир Ю., Крамер У., Кипервассер С., Андельман Ф., Нойфельд М.Ю., Мукамель Р., Йешурун Ю., Фрид И. и Малах Р. (2007). Расширенная настройка категорий, выявленная с помощью внутричерепных электроэнцефалограмм в зрительных областях человека высокого порядка. Дж. Нейроски . 27, 6234–6242.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Ray, S., Niebur, E., Hsiao, S.S., Sinai, A., и Crone, N.E. (2008). Высокочастотная гамма-активность (80-150 Гц) увеличивается в коре головного мозга человека при избирательном внимании. клин. Нейрофизиол . 119, 116–133.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Рэй, WJ (2002). Методы к науке о поведении и опыте , 7-е изд. Белмонт, Калифорния: Издательство Уодсворт.

Рознер, Б., и Глинн, Р. Дж. (2009). Оценка мощности и размера выборки для теста суммы рангов Уилкоксона с применением для сравнения статистики C из альтернативных моделей прогнозирования. Биометрия 65, 188–197.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Сакс, Х., Шеглофф, Э.А., и Джефферсон, Г. (1974). Простейшая систематика организации очередности беседы. Язык 50, 696–735.

Шалк, Г., Кубанек, Дж., Миллер, К.Дж., Андерсон, Н.Р., Лойтхардт, Э.С., Оджеманн, Дж.Г., Лимбрик, Д., Моран, Д., Герхардт, Л.А., и Вулпоу, Дж.Р. (2007). Расшифровка двумерных траекторий движения с помощью электрокортикографических сигналов у человека. Дж. Нейронный инженер . 4, 264–275.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Шермули, К., Шредер, Т., Нахтвей, Дж., и Шолль, В. (2010). Das Instrument zur Kodierung von Diskussionen (IKD) 1-Ein Verfahren zur zeitökonomischen und validen Kodierung von Interaktionen in Organisationen. З. Арб. Орган . 54, 149–170.

Шескин, Д. Дж. (2007). Справочник по параметрическим и непараметрическим статистическим процедурам , 4-е изд.Бока-Ратон, Флорида: Чепмен и Холл.

Силларс, А., и Скотт, М. (1983). Межличностное восприятие между близкими – интегративный обзор. Гул. коммун. Рез . 10, 153–176.

Синай, А., Бауэрс, К.В., Крайничану, К.М., Боутман, Д., Гордон, Б., Лессер, Р.П., Ленц, Ф.А., и Кроун, Н.Е. (2005). Электрокортикографическая высокая гамма-активность по сравнению с электрической стимуляцией коры при назывании. Мозг 128, 1556–1570.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Смолдерс, Дж.В., Арцен А.М. и Йоханнесма П.И. (1979). Нейронная репрезентация акустического биотопа. Сравнение реакции слуховых нейронов на тональные и естественные раздражители у кошки. Биол. Кибер . 35, 11–20.

Опубликовано Резюме | Опубликован полный текст

Спренг, Р. Н., Мар, Р. А., и Ким, А. С. (2009). Общая нейронная основа автобиографической памяти, разведки, навигации, теории разума и режима по умолчанию: количественный метаанализ. Дж. Ког.Нейроски . 21, 489–510.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Staiger, T.O., Jarvik, J.G., Deyo, R.A., Martin, B., and Braddock, C.H. (2005). Краткий отчет: согласие пациента и врача как предиктор результатов у пациентов с болью в спине. J. Ген. интерн. Мед . 20, 935–937.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Стейнворт, С., Ван, К., Ульберт, И., Шомер, Д., и Халгрен, Э. (2010).Энторинальные гамма- и тета-колебания человека избирательны для отдаленной автобиографической памяти. Гиппокамп 20, 166–173.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Стюарт, Массачусетс (1984). Что такое успешное интервью врача и пациента? Изучение взаимодействий и результатов. Соц. науч. Мед . 19, 167–175.

Опубликовано Резюме | Опубликован полный текст

Суга, Н. (1978). Специализация слуховой системы на прием и обработку видоспецифичных звуков. Фед. Процедура . 37, 2342–2354.

Опубликовано Резюме | Опубликован полный текст

Сугиура М., Мано Ю., Сасаки А. и Садато Н. (2011). За пределами механизма памяти: личностно-избирательные и неселективные процессы узнавания лично знакомых лиц. Дж. Когн. Нейроски . 23, 699–715.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Сугиура М., Сасса Ю., Ватанабэ Дж., Акицуки Ю., Маэда Ю., Мацуэ Ю. и Кавасима Р.(2009). Анатомическая сегрегация представлений лично знакомых и известных людей в височной и теменной коре. Дж. Когн. Нейроски . 21, 1855–1868 гг.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Таул, В. Л., Юн, Х.-А., Кастель, М., Эдгар, Дж. К., Биассу, Н. М., Фрим, Д. М., Спайр, Дж.-П., и Корман, М. Х. (2008). Гамма-активность ЭКоГ во время языкового задания: дифференциация экспрессивной и рецептивной областей речи. Мозг 131, 2013–2027.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Виссер, М., Джеффрис, Э., и Ламбон Ральф, Массачусетс (2010). Семантическая обработка в передних височных долях: метаанализ литературы по функциональной нейровизуализации. Дж. Когн. Нейроски . 22, 1083–1094.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Вивенти, Дж., Ким, Д.-Х., Вигеланд, Л., Фрешетт, Э.С., Бланко, Дж.А., Ким, Ю.-С., Аврин, А.Е., Тирувади, В.Р., Хван, С.-В., Ванлер, А.С., Вулсин, Д.Ф., Дэвис, К., Гелбер, К.Е., Палмер, Л., Ван дер Шпигель, Дж., Ву, Дж., Сяо, Дж., Хуанг Ю., Контрерас Д., Роджерс Дж. А. и Литт Б. (2011). Гибкая, складная, активно мультиплексированная электродная матрица высокой плотности для картирования мозговой активности in vivo . Нац. Нейроски . 14, 1599–1605.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Ван В., Дегенхарт А. Д., Судре Г. П., Померло Д. А. и Тайлер-Кабара Э.С. (2011). Декодирование семантической информации из сигналов электрокортикографии человека (ЭКоГ). Конф. проц. IEEE инж. Мед. биол. Соц . 2011, 6294–6298.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Whatmough, C., Chertkow, H., Murtha, S., and Hanratty, K. (2002). Диссоциируемые области мозга обрабатывают значение объекта и структуру объекта во время называния изображений. Нейропсихология 40, 174–186.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Вильмс, М., Schilbach, L., Pfeiffer, U., Bente, G., Fink, G.R., and Vogeley, K. (2010). Это в ваших глазах — использование стимулов, зависящих от взгляда, для создания действительно интерактивных парадигм для социальной когнитивной и аффективной нейронауки. Соц. Познан. Оказывать воздействие. Нейроски . 5, 98–107.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Сюй, Дж., Кемени, С., Парк, Г., Фраттали, К., и Браун, А. (2005). Язык в контексте: возникающие особенности слова, предложения и понимания повествования. Нейроизображение 25, 1002–1015.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Яо Х., Ши Л., Хань Ф., Гао Х. и Дэн Ю. (2007). Быстрое обучение корковому кодированию визуальных сцен. Нац. Нейроски . 10, 772–778.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Закс, Дж. М., Брейвер, Т. С., Шеридан, М. А., Дональдсон, Д. И., Снайдер, А. З., Оллингер, Дж. М., Бакнер, Р. Л., и Райхл, М. Е. (2001).Активность человеческого мозга привязана во времени к границам событий восприятия. Нац. Нейроски . 4, 651–655.

Опубликовано Резюме | Опубликован полный текст | Полнотекстовая перекрестная ссылка

Приложение

Таблица А1. Статистически значимые эффекты ( p <0,001, FDR) в диапазоне частот тета (θ), альфа (α) и гамма (γ), координаты MNI и анатомическое расположение электродов ATL в S1 и S3 .

границ | Широкополосные протезные интерфейсы: сочетание технологии передачи нервов и имплантируемой многоканальной ЭМГ для декодирования активности спинномозговых мотонейронов

Введение

Потеря верхней конечности — тяжелое событие в жизни, ведущее к значительному физическому и последующему психологическому бремени для пациентов.В современной реконструкции конечностей для восстановления функции конечности используют миоэлектрические протезы (Kung et al., 2013; Farina, Aszmann, 2014). Эти устройства основаны на обнаружении произвольной остаточной мышечной активности с помощью электромиографии (ЭМГ) для управления протезной функцией. Однако современные протезные интерфейсы не могут обеспечить достаточный, интуитивно понятный и надежный контроль, что является одной из основных причин отказа от устройств (Atkins et al., 1996; Biddiss et al., 2007; Peerdeman et al., 2011).Поэтому необходимы новые интерфейсы управления для обеспечения надежной широкополосной связи между пациентом и протезом (Peerdeman et al., 2011; Ortiz-Catalan et al., 2012; Kung et al., 2013).

С 1960-х годов протезный интерфейс использует две основные группы мышц остаточной культи человека с ампутированными конечностями в качестве источников сигналов миоконтроля (Childress, 1985; Williams, 1990; Parker et al., 2006). Этот подход прост, надежен и неинвазивен, но передача информации ограничена, поскольку доступны только два управляющих сигнала от пары мышц-агонистов-антагонистов.В этом сценарии совместное сокращение часто используется для переключения управляющих сигналов на разные суставы протеза (кисть, запястье, локоть или плечо) (Salminger et al., 2015; Vujaklija et al., 2016). Этот классический метод контроля является неинтуитивным и громоздким, но благодаря своей надежности он до сих пор остается единственным широко применяемым клиническим решением (Turker, 1993; Scheme and Englehart, 2011; Farina and Aszmann, 2014). Учитывая их сложность, очевидно, что современными протезами нельзя управлять интуитивно с помощью этого традиционного интерфейса (Ortiz-Catalan et al., 2012; Кунг и др., 2013).

Целенаправленная реиннервация мышц (TMR) была предложена для увеличения числа интуитивных управляющих сигналов при протезировании (Kuiken et al., 2005; Miller et al., 2008). При таком подходе периферические нервы, лишенные функциональных мишеней из-за ампутации, переносятся на остаточные мышцы культи, а исходная двигательная ветвь разделяется (Kuiken et al., 2009; Kung et al., 2013; рисунок 1). Вследствие этого нарушается иннервация многоголовых или сегментарно иннервируемых мышц (т.g., бицепс, грудная мышца) отделяется для увеличения количества доступных миосигналов (Dumanian et al., 2009). Таким образом, TMR позволяет одновременно контролировать несколько степеней свободы (DoF), таких как раскрытие руки, вращение запястья и сгибание локтя (Kuiken et al., 2007; Salminger et al., 2015). Кроме того, сигналы TMR интуитивно понятны для пациента, поскольку первоначальная функция нерва такая же, как и в протезе после операции. Тем не менее, новейшие протезы, в принципе, позволяют выполнять очень ловкие движения руки, включающие несколько степеней свободы, включая движения отдельных пальцев (Fifer et al., 2014; Ли и др., 2014 г.; Резник и др., 2014). Для управления этими функциями требуется еще большее количество управляющих сигналов, чем в настоящее время обеспечивает TMR.

Рисунок 1 . TMR и гиперреиннервация: Вверху: Физиологически периферические нервы обычно иннервируют несколько мышц через разные двигательные пучки. Мотонейроны пучков расположены в столбцах мотонейронов спинного мозга. Каждый мотонейрон иннервирует определенное количество мышечных волокон, называемых мышечной единицей.После ампутации эти двигательные нейроны и пучки остаются интактными и не выполняют никакой функции. Внизу: Во время операции TMR ампутированные нервы пересаживаются для замены оригинального двигательного нерва целевой мышцы. Донорский нерв обычно представляет собой многопучковый нерв, который включает большее количество двигательных нейронов. Следовательно, целевая мышца гиперреиннервируется большим количеством двигательных нейронов, которые образуют более мелкие мышечные единицы. Кроме того, отдельные двигательные пучки могут образовывать фасцикулярные территории внутри мышцы, которые потенциально могут сокращаться независимо друг от друга.

Предыдущие исследования показывают, что TMR приводит к гиперреиннервации и корковой реафферентации (Kuiken et al., 1995). Регистрируя активность реиннервированных мышц с помощью многоканальных систем ЭМГ, потенциально можно расшифровать паттерны активации отдельных двигательных единиц. Основываясь на этих паттернах, мы полагаем, что можно оценить нейронную активность спинного мозга для выполнения сложных задач. Это могло бы обеспечить широкополосный интерфейс для намерения движения пользователя и, таким образом, естественным образом управлять современными миоэлектрическими протезами.В этой перспективной статье мы представляем эти концепции и научную основу для их клинического применения.

Нейрофизиология целевой реиннервации мышц

Во время операции TMR нервы, которые потеряли свою цель из-за ампутации, переносятся в остаточные мышцы культи, чтобы увеличить количество когнитивных и независимых мышечных сигналов. В этой процедуре исходная двигательная ветвь избыточной мышцы заменяется ампутированным нервом, и, таким образом, эта мышца реиннервируется другим пулом двигательных нейронов, которые ранее кодировали функцию руки (рис. 1).Следовательно, функция целевой мышцы контролируется другим сегментом спинного мозга и областью коры относительно его естественной иннервации. При достаточном времени восстановления TMR приводит к представлению целевой мышцы в исходном кортикальном расположении отсутствующей конечности (Chen et al., 2013; Yao et al., 2015). Эта реафферентация хорошо адаптированных корково-спинномозговых управляющих структур потерянной конечности создает интуитивные сигналы для использования протеза. В этом процессе корково-спинномозговые области, первоначально связанные с мелкими движениями руки, вновь соединяются с проксимальными мышцами.

Для когнитивного установления такого большого количества управляющих сигналов необходима структурированная программа нейрореабилитации, основанная на обратной связи. С этой целью используется биологическая обратная связь ЭМГ, чтобы облегчить моторное обучение и научить пациентов активировать вновь установленные мышечные сигналы. После операции кортикальная пластичность позволяет пациенту реинтегрировать перестроенные нервно-мышечные структуры и использовать их для интуитивного управления протезом в повседневной деятельности (Stubblefield et al., 2009; Sturma et al., 2014).

Структура блока двигателя

TMR изменяет компоненты двигательных единиц и, таким образом, может изменять их физиологию. В процессе созревания нервной системы двигательный нейрон, соединительный аксон, нервно-мышечное соединение и мышечные волокна физиологически выравниваются по своим свойствам (Buchthal, Schmalbruch, 1980; Heckman, Enoka, 2012). Во время переноса нервов, используемого в TMR, моторные нейроны и их аксоны соединяются с новыми мышечными волокнами с потенциально отличными свойствами от исходных волокон.Как показали исследования перекрестной иннервации (Prewitt and Salafsky, 1967; Romanul and Van Der Meulen, 1967; Amphlett et al., 1975), реиннервирующие двигательные нейроны могут восстанавливать целостность двигательной единицы путем изменения экспрессии тяжелой цепи миозина мышечные волокна. Хотя степень этого перехода требует дальнейшего изучения в TMR, этот механизм трансформирует мышечные волокна-мишени в волокна со сходными характеристиками, как в первоначально иннервированной мышце. Следовательно, человек с ампутированной конечностью должен быть оснащен сложным политопным мышечным сигналом, который физиологически аналогичен сигналу ампутированной мускулатуры и может обеспечить «биоскрин» ЭМГ-активности утраченных естественных мышц.Затем эта активность может быть преобразована в естественные управляющие сигналы.

Гиперреиннервация

Перенос нерва с избытком аксонов может привести к гиперреиннервации целевой мышцы (Kuiken et al., 1995). Эта реиннервация за счет большего количества двигательных нейронов приводит к увеличению числа более мелких функциональных двигательных единиц (Kuiken et al., 1995; Kapelner et al., 2016), так что целевые мышцы потенциально можно контролировать более тонким способом, чем при их исходной иннервации. . Это свойство можно использовать для оптимального контроля с точной настройкой между количеством реиннервирующих аксонов и доступными целевыми мышечными волокнами для достижения оптимального уровня гиперреиннервации.Дополнительный избыток аксонов может быть перенаправлен на другую целевую мышцу для дальнейшего увеличения общего количества контрольных участков и/или создания избыточности для повышения надежности системы управления.

Фасцикулярные территории в мышце-мишени

После TMR донорские нервы, изначально иннервирующие несколько мышц с похожими функциями (например, локтевой нерв, иннервирующий собственные мышцы руки), переносятся только в одну мышцу-мишень (Aszmann et al., 2008).Таким образом, отдельные нервные пучки могут иннервировать различные части целевой мышцы, соответствующие мышцам, изначально иннервируемым, например, локтевым нервом. Эти целевые мышечные части в принципе могут контролироваться независимо (рис. 1). Таким образом, первоначальная способность иннервации нерва может быть спроецирована в пределах одной мышцы с ограничениями доступных мышечных волокон и нейротрофической поддержки только для части донорского нерва (Kuiken et al., 1995). Классические записи ЭМГ, используемые в настоящее время для управления протезом, не могут различать активность кластеров мышечных волокон одной и той же мышцы.Тем не менее, более селективные методы ЭМГ, такие как, например, имплантированные электроды, могут позволить такое различение, так что мультипучковые нервы могут быть сопряжены с записями одной мышцы. Следовательно, системы записи и декодирования ЭМГ-сигналов, которые позволяют идентифицировать активность двигательных единиц, контролируемых различными нервными пучками в одной и той же мышце, могут извлекать исходный нейронный код для управления мелкой моторикой. Доступ к фасцикулярным территориям в целевой мышце можно получить с помощью высокоселективных имплантированных электродов для записи большего количества отдельных управляющих сигналов.

Многоканальные системы ЭМГ

Мышечные сигналы пространственно разделены во время операции TMR, чтобы обеспечить регистрацию с помощью стандартных поверхностных электродов (Dumanian et al., 2009). Результирующие сигналы ЭМГ в значительной степени независимы, и каждый из них может надежно управлять одной функцией протеза. Увеличение количества мест регистрации обеспечит больше источников сигнала ЭМГ, но увеличит их корреляцию из-за объемной проводимости.

Современные имплантируемые системы ЭМГ могут регистрировать сигналы ЭМГ в непосредственной близости от мышечных волокон.Кроме того, имплантируемые системы обеспечивают стабильные отношения между источниками и электродами. Напротив, поверхностная ЭМГ регистрируется от большего объема мышц и зависит от внешних факторов, таких как пот или смещение. Недавние исследования хронических имплантируемых систем, таких как система MyoPlant (Lewis et al., 2013b) и IMES (Troyk et al., 2007; Merrill et al., 2011), показали, что они могут обеспечить более высокое качество данных ЭМГ, чем поверхностные записи. Эти системы имплантируются в конечность пациента для записи и беспроводной передачи высококачественных мышечных сигналов.Данные ЭМГ записываются либо изнутри мышцы (например, IMES), либо эпимизиально с мышечной поверхности (например, MyoPlant). Глубокие и/или небольшие мышцы, которые невозможно легко контролировать с помощью неинвазивных электродов ЭМГ, могут быть нацелены на мышечные имплантаты, что приводит к увеличению возможностей контроля. Эффективность системы IMES была проверена в первом клиническом испытании с имплантацией восьми электродов трансрадиальным ампутантам, показавшим безопасное применение и простой, но эффективный контроль над несколькими степенями свободы (Weir et al., 2003; Бейкер и др., 2010 г.; Паскина и др., 2014). Система MyoPlant успешно прошла обширные доклинические испытания на крупных животных, продемонстрировав хорошую биосовместимость и стабильный импеданс электродов в течение нескольких месяцев, а также надежное получение нескольких соседних ЭМГ-сигналов (Poppendieck et al., 2011; Lewis et al. , 2013a; Bergmeister KD et al., 2016). Ввиду хронического применения необходимы дальнейшие исследования для более длительных периодов времени. Эти хронические исследования в настоящее время проводятся для системы IMES нашей и несколькими другими исследовательскими группами.

Несмотря на многообещающее клиническое применение электродов, имплантированных в мышцы, информация, извлеченная из записанных сигналов ЭМГ, по-прежнему связана с активацией больших участков мышечной ткани. Например, имитационное моделирование показало, что радиус обнаружения электродов IMES может достигать 8 мм (Lowery et al., 2006). Более избирательные сигналы можно получить, уменьшив активную площадь электрода. Предельным пределом извлечения информации из сигналов ЭМГ является квант электрофизиологической активации мышц, т.е.д., потенциал действия двигательной единицы (рис. 2). Связанная нейронная информация – это информация об одном эфферентном нервном волокне. Декодирование сигналов ЭМГ на уровне двигательных единиц обеспечило бы прямой доступ к полной нейронной информации об иннервирующих двигательных волокнах нерва. Для декодирования сигналов ЭМГ в таком мелком масштабе требуются более избирательные участки обнаружения и, в то же время, большая плотность электродов (пространственная выборка). Принцип пространственного отбора проб с помощью небольших отдельных электродов широко применялся для систем поверхностной ЭМГ (Hahne et al., 2012; Мучели и Фарина, 2012 г.; Ison et al., 2015), и в настоящее время эта технология позволяет расшифровывать нейронный драйв к мышцам с помощью методов слепого разделения источников (Farina and Holobar, 2016). Недавно в качестве доказательства концепции эти системы были использованы для расшифровки нейронной активации двигательных нервных волокон после ПМР, а поведение двигательных нейронов было преобразовано в управляющие сигналы для протезов (Kapelner et al., 2015; Farina et al., 2017). Было показано, что этот подход на уровне двигательных единиц теоретически превосходит классическое распознавание образов интерференционной ЭМГ с использованием глобальных параметров у пациентов с ПМР (Farina et al., 2017). Как мы обсуждали ранее (Farina et al., 2017), предложенный подход, который был проверен с помощью неинвазивных электродных сеток высокой плотности для ЭМГ, может быть перенесен на имплантированные сетки. Преимущество имплантированных систем заключается в возможности записи с большей части мышцы, а также в повышенной надежности и меньшей изменчивости записей по отношению к установке на кожу. Например, эпимизиальная имплантация электродных сеток будет давать сигналы ЭМГ, которые не зависят от подкожных тканей пациента и не смещаются при повторном использовании протеза.

Рисунок 2 . Широкополосный протезный интерфейс: во время ПМР ампутированный локтевой нерв был перенаправлен к короткой/медиальной головке двуглавой мышцы для обеспечения дополнительных сигналов ЭМГ. Используя многоканальные ЭМГ-электроды, можно расшифровать активность отдельной двигательной единицы по данным ЭМГ и оценить нервный импульс локтевого нерва к внутренней мускулатуре руки. Эта информация может позволить передавать чрезвычайно точные управляющие сигналы, в конечном счете, с той же точностью, которая достигается физиологически.

Недавно во внутримышечных электродах была реализована пространственная выборка сигналов ЭМГ с высокой плотностью (Farina et al., 2008; Muceli et al., 2015). Эти системы, подходящие для неотложной имплантации (от нескольких часов до нескольких дней, с чрескожными проводниками), позволяют идентифицировать активность нескольких двигательных нейронов, идентифицированных с помощью аналогичных методов слепого разделения источников, разработанных для неинвазивных электродных решеток высокой плотности. (Мусели и др., 2015; Негро и др., 2016). Однако для клинического применения многоканальные ЭМГ-электроды должны имплантироваться постоянно.Более того, декодирование отдельных двигательных единиц должно осуществляться с помощью алгоритмов, работающих в режиме реального времени и встроенных в носимую электронику. Внутримышечные сигналы имеют более широкую полосу пропускания, чем поверхностные сигналы, и поэтому дискретизируются на более высоких частотах. Оперативная декомпозиция многоканальных внутримышечных сигналов пока невозможна. Однако недавно мы предложили метод декомпозиции одноканальной внутримышечной ЭМГ в реальном времени (Karimimehr et al., 2017), который можно распространить на несколько каналов.В конечном счете, хронически имплантированные многоканальные системы ЭМГ должны быть расшифрованы в режиме онлайн, чтобы предоставить полную нейронную информацию о двигательных нервных волокнах. Это достижение, в принципе, должно создать интерфейс управления для многих функций, которые человеческая рука или верхняя конечность могут выполнять естественным образом.

Разложение многоканальных сигналов ЭМГ

Наличие нескольких записей электрической активности мышечных волокон теоретически позволяет отделить источники (время разряда двигательных нейронов) от сверточной матрицы смешения.Это может быть выполнено методами слепого разделения источников, которые используют, например, свойство разреженности источников (Farina and Holobar, 2016). Предположение этих методов состоит в том, что количество наблюдений больше, чем количество источников, и это требует высокой пространственной выборки, как обсуждалось выше. Слепое разделение сигналов ЭМГ было продемонстрировано и подтверждено в последнее десятилетие (Holobar and Farina, 2014) и проверено как на инвазивных, так и на неинвазивных записях мышц (Negro et al., 2016). Тем не менее, условия, в которых применялись эти методы, в основном представляют собой ограниченные лабораторные испытания во время мышечных сокращений с постоянной или медленно изменяющейся силой и в изометрических условиях (Farina and Holobar, 2016). Распространение этих методов на более общие условия затруднено из-за сильной нестационарности источников, артефактов и коротких интервалов активации. Эти проблемы дополнительно усугубляются необходимостью онлайн-разделения, что накладывает ограничения на объем данных, доступных для каждого интервала обработки.

Комбинация переноса нервов, имплантируемых многоканальных систем ЭМГ и декомпозиции ЭМГ

Недавний нейрогистологический анализ периферических нервов показывает, что в среднем около 25 000 эфферентных нервных волокон контролируют функцию верхней конечности, и из них только около 1800 двигательных нервных волокон в конечном итоге контролируют внутреннюю функцию руки (Gesslbauer et al., обзор). Перенаправление этих волокон для реиннервации остаточных мышц культи восстанавливает функцию двигательной единицы (Bergmeister K.и др., 2016). Гиперреиннервация отдельной мышцы многопучковым нервом с большим входом волокон приведет к большему количеству функциональных двигательных единиц в целевой мышце по сравнению с ее естественной иннервацией (Kuiken et al., 1995; Kapelner et al., 2016). Кроме того, отдельные пучки нерва могут иннервировать определенные участки мышцы, которыми можно управлять независимо друг от друга. Таким образом, одна мышца может служить усилителем (биоэкраном) для многих волокон многопучкового нерва (Kapelner et al., 2015). Записывая эти целевые мышцы с помощью имплантируемой многоканальной технологии ЭМГ (Farina et al., 2008; Muceli et al., 2015), можно было бы идентифицировать группы мышечных волокон, которые иннервируются каждым нервным пучком, и определить поведение двигательной активности. нейронов для каждого пучка. Этот подход к расшифровке возможен, как показано в лабораторных условиях при острых состояниях у здоровых (Muceli et al., 2015; Negro et al., 2016), а также у пациентов с TMR (Farina et al., 2017). Принимая во внимание относительно небольшое количество двигательных нервных волокон, иннервирующих внутреннюю мускулатуру руки (всего ~ 1800), в принципе возможно декодировать полный нервный импульс внутренней мускулатуры руки с помощью многоканальных электродных систем высокого разрешения.Таким образом, нервный импульс мультифасцикулярного (мультимодального) нерва может быть идентифицирован в одной целевой мышце, а весь нервный импульс к мускулатуре руки может быть декодирован из нескольких целевых мышц (рис. 2).

Например, у человека с трансплечевой ампутацией избыточные головки двуглавой и трехглавой мышц имеют достаточное количество мышечных волокон для полной иннервации срединного и локтевого нервов, согласно недавнему подсчету нервных волокон (Gesslbauer et al., in рассмотрение).В этом случае мультифасцикулярные (мультимодальные) нервы, контролирующие внутреннюю функцию руки, будут представлены как фасцикулярные территории в компартментах двух целевых мышц. Имплантируя многоканальные ЭМГ-электроды (эпимизиально или внутримышечно) в эти мышцы, можно было бы расшифровать активность отдельных популяций моторных нейронов для каждой фасцикулярной территории. Эта информация позволила бы доставлять чрезвычайно точные управляющие сигналы, в конечном счете, с той же точностью, которая достигается физиологически.

Проблемы и выводы

Мы проиллюстрировали концепцию интуитивно понятного широкополосного миоэлектрического интерфейса для улучшения управления протезом. Предлагаемый подход к декодированию активности эфферентного нерва для контроля с помощью комбинации хирургических вмешательств, технологии имплантированных электродов и многоканальной обработки сигналов поддерживается постоянными достижениями во всех этих областях. Тем не менее, остается несколько проблем для перевода этих достижений в клинические протезные системы.Основные трудности связаны с интеграцией десятков и сотен точек записи в имплантированные датчики ЭМГ и беспроводной передачей сигналов в широкой полосе пропускания, с высоким отношением сигнал/шум и с ограниченными артефактами. Более того, записи должны быть запитаны и стабильны во времени в течение нескольких лет. Другой набор ограничений связан с надежной онлайн-обработкой ЭМГ для извлечения составляющих источников в нестационарных условиях, во время коротких сокращений и с ограниченной задержкой обработки (в пределах нескольких сотен мс).После декодирования источники должны быть автоматически связаны с степенями свободы, что также является проблемой. Несмотря на эти проблемы, мы считаем, что предложенная схема более перспективна, чем текущие альтернативные направления исследований. Например, альтернативным подходом является прямая регистрация эфферентных волокон периферических нервов (Micera et al., 2011; Carboni et al., 2016; Ng et al., 2016), что, однако, связано с проблемами, связанными с низкой амплитудой сигнала и низкой частотой сигнала. отношение шума к шуму, небольшое количество идентифицированных паттернов спайков и потенциальное внутриневральное повреждение (Navarro et al., 2005; Карбони и др., 2016). Для сравнения, представленная стратегия может обеспечить более безопасный и надежный метод эксплуатации современных протезов с функциями, близкими к биологическим.

Вклад авторов

KB, IV, SM, OA, DF разработали концепцию; все авторы внесли свой вклад, написали рукопись и критически отредактировали ее.

Финансирование

Эта работа была поддержана Христианской доплеровской исследовательской ассоциацией, Австрийским советом по исследованиям и развитию технологий, Австрийским федеральным министерством науки, исследований и экономики и Европейским исследовательским советом (ERC) посредством расширенного гранта ERC DEMOVE (No.267888). Ни одно из финансирующих агентств не участвовало в сборе, анализе и интерпретации данных, а также в написании и публикации этой статьи.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Благодарности

Мы хотели бы поблагодарить наших пациентов за их постоянный вклад в понимание повседневных требований к интуитивно понятной замене конечности.

Ссылки

Amphlett, G.W., Perry, S.V., Syska, H., Brown, M.D., and Vrbova, G. (1975). Перекрестная иннервация и регуляторная белковая система камбаловидной мышцы кролика. Природа 257, 602–604. дои: 10.1038/257602a0

Полнотекстовая перекрестная ссылка | Академия Google

Азманн, О.К., Дитл, Х., и Фрей, М. (2008). Селективная пересадка нерва для улучшения контроля миоэлектрических протезов руки. Хэндчир. Микрочир. Пласт. Чир. 40, 60–65.doi: 10.1055/s-2007-989415

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Аткинс, Д. Дж., Херд, Д. С. Ю., и Донован, У. Х. (1996). Эпидемиологический обзор лиц с потерей верхних конечностей и сообщаемые ими исследовательские приоритеты. Протез. Орто . 8, 2–11. дои: 10.1097/00008526-199600810-00003

Полнотекстовая перекрестная ссылка | Академия Google

Бейкер, Дж. Дж., Схема, Э., Энглхарт, К., Хатчинсон, Д. Т., и Грегер, Б. (2010). Непрерывное обнаружение и декодирование ловких сгибаний пальцев с помощью имплантируемых миоэлектрических датчиков. Нейронная система. Реабилит. англ. 18, 424–432. doi: 10.1109/TNSRE.2010.2047590

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Бергмайстер К., Аман М., Ридл О., Манзано-Салаи К., Шпорер М., Салмингер С. и др. (2016). Экспериментальная модель переноса нерва в переднюю конечность крысы. евро. Surg. 48, 334–341. doi: 10.1007/s10353-016-0386-4

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Бергмайстер, К. Д., Хадер, М., Lewis, S., Russold, M.F., Schiestl, M., Manzano-Szalai, K., et al. (2016). Управление протезом с помощью имплантируемой многоканальной беспроводной электромиографической системы для пациентов с ампутированными конечностями высокого уровня: исследование на крупных животных. Пласт. Реконстр. Surg. 137, 153–162. doi: 10.1097/PRS.0000000000001926

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Карбони, К., Бизони, Л., Карта, Н., Пудду, Р., Распопович, С., Наварро, X., и соавт. (2016). Интегрированный интерфейс для записи и стимуляции периферической нервной системы: проектирование системы, электрические тесты и результаты in-vivo . Биомед. Микроприборы 18, 1–17. doi: 10.1007/s10544-016-0043-5

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Чен, А., Яо, Дж., Куикен, Т., и Девальд, Дж. П. (2013). Кортикальная двигательная активность и реорганизация после ампутации верхних конечностей и последующей целенаправленной реиннервации. Клиника нейроимидж. 3, 498–506. doi: 10.1016/j.nicl.2013.10.001

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Чайлдресс, Д.С. (1985). Исторические аспекты механических протезов конечностей. клин. Протез. ортот. 9, 2–13.

Академия Google

Думанян, Г. А., Ко, Дж. Х., О’Шонесси, К. Д., Ким, П. С., Уилсон, С. Дж., и Куикен, Т. А. (2009). Целенаправленная реиннервация при трансгуморальной ампутации: современная хирургическая техника и обновленные результаты. Пласт. Реконстр. Surg. 124, 863–869. дои: 10.1097/PRS.0b013e3181b038c9

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Фарина, Д.и Холобар, А. (2016). Характеристика двигательных единиц человека по разложению поверхностной ЭМГ. Проц. IEEE 104, 353–373. doi: 10.1109/JPROC.2015.2498665

Полнотекстовая перекрестная ссылка | Академия Google

Фарина Д., Вуяклия И., Сартори М., Капельнер Т., Негро Ф., Цзян Н. и др. (2017). Человеко-машинный интерфейс, основанный на времени разряда спинальных двигательных нейронов после целевой реиннервации мышц. Нац. Биомед. англ. 1:0025. doi: 10.1038/s41551-016-0025

Полнотекстовая перекрестная ссылка | Академия Google

Фарина, Д., Йошида, К., Штиглиц, Т., и Кох, К.П. (2008). Многоканальный тонкопленочный электрод для внутримышечной электромиографической регистрации. Дж. Заявл. Физиол. 104, 821–827. doi: 10.1152/japplphysiol.00788.2007

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Файфер, М.С., Хотсон, Г., Вестер, Б.А., Макмаллен, Д.П., Ван, Ю., Йоханнес, М.С., и соавт. (2014). Одновременный нейронный контроль простого дотягивания и захвата модульным протезом конечности с использованием внутричерепной ЭЭГ. IEEE Trans. Нейронная система. Реабилит. англ. 22, 695–705. doi: 10.1109/TNSRE.2013.2286955

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Hahne, J.M., Rehbaum, H., Biessmann, F., Meinecke, F.C., Muller, K., Jiang, N., et al. (2012). «Одновременное и пропорциональное управление двумерными движениями запястья с помощью миоэлектрических сигналов», в 2012 Международный семинар IEEE по машинному обучению для обработки сигналов (MLSP) , 1–6.

Академия Google

Изон, М., Вуяклия И., Уитселл Б., Фарина Д. и Артемиадис П. (2015). Электромиография высокой плотности и обучение двигательным навыкам для надежного долгосрочного управления манипулятором робота с 7 степенями свободы. IEEE Trans. Нейронная система. Реабилит. англ. 4, 424–433. doi: 10.1109/TNSRE.2015.2417775

Полнотекстовая перекрестная ссылка | Академия Google

Капельнер Т., Цзян Н., Холобар А., Вуяклия И., Рош А.Д., Фарина Д. и соавт. (2016). Характеристики двигательных единиц после целенаправленной реиннервации мышц. PLoS ONE 11:e0149772. doi: 10.1371/journal.pone.0149772

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Капельнер, Т., Нин, Дж., Вуяклия, И., Ашманн, О.К., Холобар, А., и Фарина, Д. (2015). «Классификация активности двигательных единиц после целенаправленной реиннервации мышц», , 2015, 7-я Международная конференция IEEE/EMBS по нейронной инженерии (NER), , 652–654.

Академия Google

Каримимер, С., Маратеб, Х.Р., Мучели С., Мансурян М., Мананас М.А. и Фарина Д. (2017). Метод в реальном времени для декодирования нервного импульса к мышцам с использованием одноканальных внутримышечных записей ЭМГ. Междунар. Дж. Нейронная система. 27:17500253. дои: 10.1142/S01217500253

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Kuiken, T.A., Li, G., Lock, B.A., Lipschutz, R.D., Miller, L.A., Stubblefield, K.A., et al. (2009). Целенаправленная реиннервация мышц для миоэлектрического контроля многофункциональных искусственных рук в режиме реального времени. JAMA 301, 619–628. doi: 10.1001/jama.2009.116

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Kuiken, T.A., Miller, L.A., Lipschutz, R.D., Lock, B.A., Stubblefield, K., Marasco, P.D., et al. (2007). Целенаправленная реиннервация для улучшения функции протеза руки у женщины с проксимальной ампутацией: тематическое исследование. Ланцет 369, 371–380. doi: 10.1016/S0140-6736(07)60193-7

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Куикен, Т., Миллер Л., Липшуц Р., Стаблфилд К. и Думанян Г. (2005). Командные сигналы протеза после целенаправленной операции по пересадке нерва с гиперреиннервацией. Конф. проц. IEEE инж. Мед. биол. соц. 7, 7652–7655. doi: 10.1109/iembs.2005.1616284

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Кунг, Т. А., Буэно, Р. А., Алхалефа, Г. К., Лангалс, Н. Б., Урбанчек, М. Г., и Седерна, П. С. (2013). Инновации в протезных интерфейсах для верхней конечности. Пласт. Реконстр. Surg. 132, 1515–1523. дои: 10.1097/PRS.0b013e3182a97e5f

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Ли, Б., Аттенелло, Ф.Дж., Лю, С.Ю., Маклафлин, М.П., ​​и Апуццо, М.Л. (2014). Воссоздание плоти с помощью кремния и стали: достижения в роботизированном протезировании верхних конечностей. Всемирный нейрохирург. 81, 730–741. doi: 10.1016/j.wneu.2014.03.012

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Льюис, С., Hahn, M., Klein, C., Russold, M.F., Ruff, R., Hoffmann, K.P., et al. (2013а). Имплантируемый силиконовый электрод для измерения мышечной активности: результаты первой оценки in vivo . Биомед. Тех. 7. doi: 10.1515/bmt-2013-4368

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Lewis, S., Russold, M., Dietl, H., Ruff, R., Audi, J.M.C., Hoffmann, K.P., et al. (2013б). Полностью имплантируемая многоканальная измерительная система для измерения мышечной активности. IEEE Trans. Инструм. Измер. 62, 1972–1981 гг. doi: 10.1109/TIM.2013.2253992

Полнотекстовая перекрестная ссылка | Академия Google

Лоури, М.М., Вейр, Р.Ф., и Куикен, Т.А. (2006). Моделирование внутримышечных сигналов ЭМГ, обнаруженных с помощью имплантируемых миоэлектрических датчиков (ИМЭС). IEEE Trans. Биомед. англ. 53, 1926–1933 гг. doi: 10.1109/TBME.2006.881774

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Меррилл Д. Р., Локхарт Дж., Тройк П.Р., Вейр Р.Ф. и Ханкин Д.Л. (2011). Разработка имплантируемого миоэлектрического датчика для расширенного контроля протеза. Артиф. Органы 35, 249–252. doi: 10.1111/j.1525-1594.2011.01219.x

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Micera, S., Rossini, P.M., Rigosa, J., Citi, L., Carpaneto, J., Raspopovic, S., et al. (2011). Декодирование захватной информации из нейронных сигналов, записанных с помощью периферических внутрипучковых интерфейсов. Дж.Нейроинж. Реабилит. 8, 53–53. дои: 10.1186/1743-0003-8-53

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Миллер, Л. А., Стаблфилд, К. А., Липшуц, Р. Д., Лок, Б. А., и Куикен, Т. А. (2008). Улучшенный контроль миоэлектрического протеза с помощью целенаправленной хирургии реиннервации: серия случаев. IEEE Trans. Нейронная система. Реабилит. англ. 16, 46–50. doi: 10.1109/TNSRE.2007.

7

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Мучели, С.и Фарина, Д. (2012). Одновременная и пропорциональная оценка кинематики руки по ЭМГ при зеркальных движениях с несколькими степенями свободы. IEEE Trans. Нейронная система. Реабилит. англ. 20, 371–378. doi: 10.1109/TNSRE.2011.2178039

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Мучели, С., Поппендик, В., Негро, Ф., Йошида, К., Хоффманн, К.П., Батлер, Дж.Е., и соавт. (2015). Точная и репрезентативная расшифровка нервного импульса к мышцам у людей с помощью многоканальных внутримышечных тонкопленочных электродов. J. Physiol. 593, 3789–3804. дои: 10.1113/JP270902

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Наварро, X., Крюгер, Т.Б., Лаго, Н., Микера, С., Штиглиц, Т. и Дарио, П. (2005). Критический обзор интерфейсов с периферической нервной системой для управления нейропротезами и гибридными бионическими системами. Дж. Периферия. нерв. Сист. 10, 229–258. doi: 10.1111/j.1085-9489.2005.10303.x

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Негр, Ф., Мучели С., Кастроново А.М., Холобар А. и Фарина Д. (2016). Многоканальная внутримышечная и поверхностная декомпозиция ЭМГ путем сверточного слепого разделения источников. J. Нейронный инж. 13:026027. дои: 10.1088/1741-2560/13/2/026027

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Нг, К.А., Гринвальд, Э., Сюй, П.Ю., и Такор, Н.В. (2016). Имплантируемые нейротехнологии: обзор нейронных усилителей на интегральных схемах. Мед. биол. англ. вычисл. 54, 45–62.doi: 10.1007/s11517-015-1431-3

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Ортис-Каталан, М., Бранемарк, Р., Хаканссон, Б., и Дельбеке, Дж. (2012). О жизнеспособности имплантируемых электродов для естественного управления протезами: обзор и обсуждение. Биомед. англ. Онлайн 11:33. дои: 10.1186/1475-925X-11-33

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Паркер, П., Энглхарт, К., и Хаджинс, Б. (2006).Обработка миоэлектрических сигналов для управления механическими протезами конечностей. Ж. Электромиогр. Кинезиол. 16, 541–548. doi: 10.1016/j.jelekin.2006.08.006

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Паскина П.Ф., Евангелиста М., Карвальо А.Дж., Локхарт Дж., Гриффин С., Нанос Г. и др. (2014). Первая на людях демонстрация полностью имплантированной системы миоэлектрических датчиков для управления усовершенствованным электромеханическим протезом руки. J. Neurosci. Методы .244, 85–93. doi: 10.1016/j.jneumeth.2014.07.016

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Peerdeman, B., Boere, D., Witteveen, H., In ‘T Veld, R.H., Hermens, H., Stramigioli, S., et al. (2011). Миоэлектрические протезы предплечья: современное состояние с точки зрения пользователя. Дж. Реабилитация. Рез. Дев. 48, 719–737. doi: 10.1682/JRRD.2010.08.0161

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Поппендик, В., Рафф, Р., Гейл А., Вестендорф С., Рассолд М., Льюис С. и соавт. (2011). «Оценка имплантируемых эпимизиальных электродов как возможного интерфейса для управления миоэлектрическими протезами руки», в Технически вспомогательная реабилитация, TAR 2011. CD-ROM: 3-я Европейская конференция (Берлин). Доступно в Интернете по адресу: http://publica.fraunhofer.de/documents/N-211781.html

.

Превитт, М., и Салафски, Б. (1967). Влияние перекрестной иннервации на биохимические характеристики скелетных мышц. утра.Дж. Физиол. 213, 295–300.

Реферат PubMed | Академия Google

Резник, Л., Клингер, С.Л., и Эттер, К. (2014). Рука DEKA: ее особенности, функциональность и эволюция во время исследования по делам ветеранов для оптимизации руки DEKA. Протез. ортот. Междунар. 38, 492–504. дои: 10.1177/0309364613506913

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Романул, Ф.А., и Ван дер Меулен, Дж.П. (1967). Медленные и быстрые мышцы после перекрестной иннервации: ферментативные и физиологические изменения. Арх. Нейрол. 17, 387–402. doi: 10.1001/archneur.1967.00470280053006

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Салмингер С., Стурма А., Герцег М., Ридл О., Бергмайстер К. и Ашманн О. К. (2015). Протезирование при высоких ампутациях верхней конечности. Ортопад 44, 413–418. doi: 10.1007/s00132-015-3113-0

Реферат PubMed | Полнотекстовая перекрестная ссылка

Схема, Э., и Энглхарт, К. (2011).Распознавание образов электромиограмм для управления механическими протезами верхних конечностей: современное состояние и проблемы клинического использования. Дж. Реабилитация. Рез. Дев. 48, 643–659. doi: 10.1682/JRRD.2010.09.0177

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Стаблфилд, К. А., Миллер, Л. А., Липшуц, Р. Д., и Куикен, Т. А. (2009). Протокол трудотерапии для людей с ампутированными конечностями с целенаправленной реиннервацией мышц. Дж. Реабилитация. Рез. Дев. 46, 481–488.doi: 10.1682/JRRD.2008.10.0138

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Стурма А., Герцег М., Бишоф Б., Фиалка-Мозер В. и Ашманн О. (2014). «Реабилитация после целенаправленной реиннервации мышц у людей с ампутированными конечностями», в «Замена, ремонт, восстановление, облегчение — объединение клинических и инженерных решений в нейрореабилитации », редакторы В. Дженсен, О. К. Андерсен и М. Акай (Springer International Publishing), 775–779. .

Академия Google

Тройк П.Р., Демишеле Г.А., Кернс Д.А. и Вейр Р.Ф. (2007). IMES: имплантируемый миоэлектрический датчик. Конф. проц. IEEE инж. Мед. биол. соц. 2007, 17:30–17:33. doi: 10.1109/iembs.2007.4352644

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Вуяклия И., Фарина Д. и Ашманн О. (2016). Новые разработки в области протезов рук. Ортоп. Рез. Ред. 8, 31–39. doi: 10.2147/ORR.S71468

Полнотекстовая перекрестная ссылка | Академия Google

Вейр, Р.Ф., Тройк П.Р., Демичеле Г. и Куикен Т. (2003). «Имплантируемые миоэлектрические датчики (IMES) для управления протезами верхних конечностей — предварительная работа», в Proceedings of the 25th Annual International Conference of the IEEE on Engineering in Medicine and Biology Society , 1562–1565.

Академия Google

Яо, Дж., Чен, А., Куикен, Т., Кармона, К., и Девальд, Дж. (2015). Сенсорное корковое повторное картирование после ампутации верхней конечности и последующей целенаправленной реиннервации: отчет о случае. Клиника нейроимидж. 8, 329–336. doi: 10.1016/j.nicl.2015.01.010

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Интерпретация широкополосной нейронной активности с использованием сверточных нейронных сетей

Рецензент №1 (Рекомендации авторам):

В текущей рукописи Frey et al. описывают сверточную нейронную сеть, способную извлекать поведенческие корреляты из широкополосных записей LFP или даже данных изображений с более низкой частотой.В других публикациях (на которые ссылаются авторы) ранее использовались аналогичные идеи, но, насколько мне известно, текущая реализация является новой. На мой взгляд, реальная ценность этого метода, как заявляют авторы в последнем абзаце, заключается в том, что он представляет собой быстрый «первопроходный» анализ крупномасштабных электрофизиологических записей для быстрого выявления соответствующих нейронных особенностей, которые затем могут сосредоточиться на более глубоком анализе. Таким образом, я думаю, что программа анализа, описанная авторами, имеет реальную ценность для сообщества, особенно в связи с тем, что для лабораторий становится все более обычным делом получать записи in vivo с нескольких площадок.

Однако, чтобы максимизировать его полезность для сообщества, у меня есть несколько вопросов/проблем, которые, по моему мнению, необходимо решить.

(1) Очевидно, важно количественно оценить относительную точность метода авторов по сравнению с существующими методами, которые коррелируют нейронную активность с поведением или сенсорным входом. Авторы пытаются сделать это, сравнивая декодирование CNN с байесовским декодированием с кластеризованными ячейками (рис. 1). Тем не менее, я думаю, что есть несколько моментов, где это сравнение может быть ошибочным.

(1a) Во-первых, в то время как некоторые рукописи (включая Zhang et al., 1998, на которые ссылаются авторы) действительно используют априор непрерывности в своих алгоритмах декодирования, в большинстве это не так (см. Лорен Франк, Дэвид Фостер и другие в этой области). Действительно, даже Olafsdottir et al., 2015, на который авторы ссылаются в явной поддержке использования априорной непрерывности (строка 111 рукописи), прямо заявляют, что они не используют априорную непрерывность в своих методах.При чтении методов мне неясно, использует ли декодирование на основе CNN также непрерывность до ограничения декодируемого местоположения.

Чтобы действительно быть полезным инструментом для сообщества, алгоритм должен быть способен коррелировать нейронную активность с поведением/сенсорным вводом таким образом, который не зависит от истории, поскольку кажется, что фундаментальное преимущество этой системы заключается в беспристрастном исследовании таких корреляции. Если такое независимое от предыстории декодирование с помощью CNN невозможно, это следует явно указать, чтобы уточнить параметры, для которых подходит этот метод.

Таким образом, я хотел бы уточнить, использует ли CNN историю животного, чтобы ограничить свой вывод декодирования. Если да, то является ли использование истории животного необходимым компонентом декодирования на основе CNN? Если CNN можно использовать независимо от истории, я бы хотел сравнить ее с независимым от истории байесовским декодированием.

Мы благодарим рецензента за то, что он поднял этот важный вопрос о деталях декодирования байесовского декодера и зависимости нашей модели от истории.Действительно, как заявил рецензент, в большинстве предшествующих работ не используется априорная непрерывность для байесовского декодирования. Рецензент также прав, замечая, что мы допустили ошибку, назвав нашу байесовскую модель декодером с априорной непрерывностью, хотя на самом деле мы не использовали такую ​​априорную модель. Приносим свои извинения за эту ошибку, которую мы сейчас исправили в тексте.

Кроме того, теперь мы добавляем дополнительный анализ, сравнивающий CNN с байесовскими декодерами с априорной непрерывностью и без нее. В частности, мы реализовали непрерывность ранее, используя распределение Гаусса, сосредоточенное вокруг предыдущего декодированного местоположения (t-1) животного, регулируя стандартное отклонение на основе скорости животного на предыдущих временных шагах (последние 2 секунды).Как показано на Рисунке 1 — Дополнение 4B, разница между средними значениями байесовского декодера с априорной непрерывностью и без нее невелика (медианная ошибка декодирования с непрерывностью 22,51 см; без непрерывности 23,23 см), хотя байесовский декодер с непрерывностью показывает более высокая дисперсия и делает больше «катастрофических» ошибок, что отражается более высокой средней ошибкой декодирования (средняя ошибка декодирования с непрерывностью 33,06 см; без непрерывности 23,38 см). Несмотря на это, в обоих случаях CNN дает более точное декодирование (средняя ошибка декодирования 17.31 см, рис. 1).

Что касается зависимости нашей модели от истории, CNN является прямой связью и имеет доступ только к информации через окно ввода, которое имеет размер 2,13 секунды (64 временных шага). В байесовском декодере нет явной преемственности до того, как это реализовано, однако во время обучения веса сети будут изучать неявный априор на основе поведения животного в обучающих данных. Это, вероятно, будет включать информацию о статистике движения животного (например,грамм. расстояние, пройденное между соседними временными шагами).

Мы также провели анализ во всех временных окнах как для байесовского декодера, так и для сверточной нейронной сети (см. также вопрос 3). Как видно из рисунка 1, Приложение 4A, для очень малых временных окон, которые подразумевают независимый от истории способ поведения декодирования, обе модели демонстрируют снижение производительности по сравнению с более длинными временными окнами.

Страница 4:

«Чтобы обеспечить знакомый эталон, мы применили стандартный байесовский декодер без предварительной оценки непрерывности (Olafsdottir et al.2015) к пиковым данным из тех же наборов данных (см. методы, см. также Рисунок 1 — Приложение 4B для сравнения с байесовским декодером с предшествующей непрерывностью (Zhang et al. 1998)).

Страница 17:

«Мы реализовали байесовскую непрерывность перед использованием распределения Гаусса, сосредоточенного вокруг предыдущего декодированного местоположения x t-1 животного, регулируя стандартное отклонение на основе скорости животного в предыдущие 4 временных шага, как реализовано в (Zhang и др., 1998).[…] Мы использовали предыдущие 4 временных шага (2 секунды) для оценки скорости животного и использовали V = 1 с».

(1b) Авторы сообщают, что часть преимущества CNN по сравнению с байесовским декодированием заключалась в том, что CNN допускала меньше больших ошибок и что медиана ошибки была более похожей для двух методов (строка 120). При выполнении байесовского декодирования создается впечатление, что использовались пики на протяжении всего эксперимента. Однако известно, что в периоды неподвижности всплески популяции во время острых волн/рябей могут кодировать виртуальные траектории в окружающей среде, создавая нелокальные пространственные представления.Если такие удаленные траектории были включены в байесовское декодирование, это может объяснить большие «ошибки» между декодированным местоположением и фактическим местоположением животного (даже если это может вообще не быть ошибкой!). Таким образом, я хотел бы, чтобы это сравнение было повторено с использованием только периодов активного движения, когда литература предполагает, что клетки места с большей вероятностью кодируют локальную пространственную информацию.

Мы благодарим рецензента за предложение сравнить производительность декодирования между стационарными периодами и периодами активного движения.

Для всех анализов, представленных в настоящее время в рукописи, байесовский декодер применяется только к периодам, когда животные перемещаются на >3 см/с. К сверточной нейронной сети не применялся порог скорости. Теперь мы разъяснили это в тексте. Кроме того, теперь мы включаем новый дополнительный рисунок, на котором показано сравнение обеих моделей в диапазоне пороговых значений скорости. Как и ожидалось, производительность обеих моделей увеличивается по мере увеличения порога скорости, предположительно потому, что, как предположил обозреватель, исключается нелокомоторная нейронная активность.Средняя производительность декодирования нашей модели улучшается с 17,37 см ± 3,58 см без порога скорости до 13,40 см ± 3,59 см с порогом скорости 25 см/с, в то время как байесовский декодер улучшается с 22,23 см ± 3,72 до 17,17 см ± 2,78.

Важно отметить, что CNN более точен, чем байесовский декодер для всех пороговых значений.

Страница 4:

«Обратите внимание, что для этих сравнений байесовский декодер применялся только к периодам, когда животное двигалось со скоростью> 3 см/с, в отличие от CNN, у которого не было порога скорости (т.е. тренируется на подвижном и стационарном периодах). […] Как и ожидалось, ограничение CNN только периодами движения фактически улучшает его производительность, подчеркивая разницу между ним и байесовским декодером (порог скорости 0 см/с: средняя байесовская ошибка 22,23 см ± 3,72 см; ошибка сети 17,37 см ± 3,58). см; порог скорости 25 см/с: средняя байесовская ошибка 17,17 см ± 2,788 см; ошибка сети 13,40 см ± 3,59 см, рисунок 1, приложение 6)».

Кроме того, похоже, что авторы используют окно в 500 мс для количественной оценки точности байесовского декодирования, но, насколько я могу судить, они используют окно ~ 33 мс (в пределах 2-секундных «кусков») для количественной оценки точности декодирования CNN.Это не похоже на справедливое сравнение яблок с яблоками, поскольку животное может двигаться чуть больше 500 мс. Таким образом, я хотел бы увидеть сравнение между этими двумя методами с использованием аналогичных временных шкал, которые подходят для обоих методов, возможно, окно ~ 100-200 мс.

Мы благодарим рецензента за этот вопрос относительно временных рамок как байесовского декодера, так и нашей модели. Действительно, байесовский декодер использует окно в 500 мс для декодирования положения в окружающей среде, в то время как наша модель использует окно в 2 с, из которого декодируются 4 отдельных временных шага (каждые 500 мс).Однако мы анализируем только последний из декодированного образца, чтобы модель не могла декодировать на основе будущих нейронных данных. По сути, все сообщаемые показатели производительности для нашей модели используют окно длительностью 2 с, в котором декодируется последний временной шаг.

Теперь мы включаем дополнительный дополнительный рисунок, сравнивающий производительность как байесовского декодера, так и сверточной нейронной сети при разной продолжительности от 100 мс до 1,6 секунды. Обе модели обеспечивают более точное декодирование с более длинными временными окнами, которые включают больше данных: байесовская модель наиболее точна с окном в 1 с, CNN лучше всего работает с 1.6-секундное окно (Рисунок 1 – Дополнение 4А). Здесь снова производительность CNN лучше, чем декодер Байеса для всех временных окон.

Страница 17:

«Оптимизированный байесовский декодер использует ядро ​​сглаживания Гаусса с σ = 1,5, размером ячейки 2 см для объединения карт скорости и использует длину ячейки 0,5 с (см. рис. 1 Приложение 4A для байесовской производительности в разных временных окнах)».

(1c) В связи с предыдущим пунктом фундаментальное преимущество использования единичной активности для изучения поведенческой информации состоит в том, что это позволяет экспериментатору определить, когда нейронная популяция представляет информацию, отличную от непосредственного сенсорного ввода или поведенческого вывода.Например, в поле клеток места можно сопоставить активность отдельных единиц с положением во время активного поведения, а затем изучить, когда виртуальные пути кодируются во время гиппокампальной острой волны / пульсации (также известной как повтор) или тета-последовательностей.

Таким образом, основной вопрос заключается в том, доступно ли такое нелокальное представление в CNN авторов. Могут ли авторы обучить сеть на поведенческих данных (используя только периоды активного движения), а затем точно декодировать виртуальные траектории во время пульсаций, основанных на неподвижности? В качестве альтернативы, могут ли авторы идентифицировать более короткие тета-последовательности, наблюдаемые во время активного движения, если CNN работает в более тонком временном масштабе? Если декодирование положения в значительной степени основано на высоких частотах в LFP, представляющих потенциалы действия, кажется, что такие более мелкие, нелокальные представления также должны быть доступны.Важно отметить, что если такие нелокальные или мелкомасштабные представления не могут быть идентифицированы с помощью этого метода, важно уточнить это, чтобы избежать неправильного использования в будущем.

Это действительно интересное предложение — мы благодарим рецензента за это.

В исходной реализации сверточной модели мы снижаем дискретизацию электрофизиологических сигналов после вейвлет-преобразования в 1000 раз, чтобы максимизировать размер (в секундах) входной выборки — количество данных в выборке ограничено объемом памяти графического процессора.Весьма вероятно, что эта предварительная обработка сожмет короткие события воспроизведения, что затруднит их декодирование.

Таким образом, чтобы выяснить, может ли модель обнаруживать повторяющиеся события, мы повторно провели анализ, используя меньшую субдискретизацию (см. рисунок 1 — дополнение к рисунку 7). Кроме того, мы использовали новый набор данных, в котором крысы выполняли навигационную задачу и для которых мы ранее наблюдали повторные события. Мы использовали ту же предварительную обработку, только скорректировав коэффициент понижающей дискретизации до 60, в результате чего частота дискретизации составила 500 Гц вместо использовавшихся ранее 30 Гц.Затем мы обучили модель, используя 64 выборки (128 мс), чтобы получить более точную оценку декодированных позиций во время воспроизведения событий. Затем мы декодировали позицию животного каждые 2 мс, в результате чего было получено более 1 миллиона декодированных позиций для эксперимента, который длился ~ 35 минут.

Чтобы количественно определить, может ли наша модель обнаруживать повторное воспроизведение, мы исследовали поведение модели в моменты времени, когда были обнаружены острые пульсации (КСВ) с использованием стандартных методов (т. отклонения выше среднего и расширение этих областей до тех пор, пока мощность не упадет до 0.5 стандартных отклонений выше среднего, сохраняются только сегменты продолжительностью более 60 мс). Изучая эти КСВ, мы увидели, что CNN часто декодировала переходные, высокоскоростные траектории, которые напоминали те, о которых сообщалось в исследованиях воспроизведения в открытом поле (см. Рисунок 1 – Приложение 7A). В соответствии с этой интерпретацией ошибка декодирования для этих периодов (т. е. евклидово расстояние между местоположением животного и декодированным местоположением) была больше, чем для соответствующих периодов, когда животное было неподвижно, но в которых КСВ не были обнаружены (n = 1000, p <0.001, рисунок 1, приложение 7Б). Кроме того, мы обнаружили, что эти предполагаемые траектории воспроизведения были длиннее, чем средние декодированные траектории во время периодов остановки (n = 1000, p = 0,003, рис. 1 — Приложение 7C), и они были такими же последовательными, как и траектории, обнаруженные во время движения (n = 1000, p = 0,257). , Рисунок 1 – Приложение 7D).

Страница 6:

«Стандартная модель декодирования понижает частоту вейвлета до частоты 30 Гц, потенциально отбрасывая переходные нелокальные представления (например, события воспроизведения и тета-последовательности).[…] Таким образом, кажется правдоподобным, что нелокальные представления доступны для этой структуры CNN».

Страница 19-20:

«Чтобы выяснить, может ли модель обнаруживать повторяющиеся события, мы повторно провели анализ, используя более низкий коэффициент субдискретизации. […] Мы использовали только периоды, когда распределение скорости исходных событий воспроизведения соответствовало перемешанным событиям воспроизведения (стационарные периоды)».

(2) Хотя большая часть информации о собственном местоположении присутствовала в высокочастотных диапазонах, данные на рисунке 1E показывают, что частоты LFP ниже 250 Гц также были информативными выше случайного (и очень близкой к байесовской точности декодирования).Однако, учитывая, что на рисунке 3B показаны возбуждающие спайки, широко распространенные в низком частотном диапазоне 200 Гц, кажется, что использование LFP ниже 250 Гц, вероятно, также включает некоторую информацию о спайках. Чтобы прояснить, насколько точно низкочастотные полосы могут отражать информацию о местоположении, я хотел бы увидеть анализ на рисунке 1E, выполненный с частотами LFP менее 150 Гц (быстрая гамма и более медленная).

Если информацию о местоположении можно точно извлечь с использованием частот <150 Гц, важно дополнительно исключить непространственные корреляции.Например, существуют ли пространственные местоположения, в которых крыса с большей вероятностью будет бегать с предсказуемой скоростью, позволяя частотам тета-диапазона эффективно расшифровывать местоположение животного? Является ли декодирование на основе LFP более/менее точным в определенных местах окружающей среды (у стен, рядом с вознаграждением и т. д.)? Тепловая карта средней ошибки декодирования на пространственную ячейку (на животное) была бы полезна для визуализации этого анализа.

Это было хорошее предложение, действительно кажется, что рецензент был прав — большая часть пространственной информации содержится в диапазоне от 125 до 250 Гц.

Мы повторили анализ декодирования LFP так же, как и раньше, но дополнительно разделили частоты LFP на две полосы — 0–150 Гц (12 из 26 частот) и 150–250 Гц (3 из 26 частот). Как показано на рисунке 1 — Приложение 2, производительность пространственного декодирования была намного ниже, когда использовались только частоты до 150 Гц, по сравнению с моделью, оцениваемой на всех частотах до 250 Гц. Напротив, модели, обученные в полосе частот 150–250 Гц и 0–250 Гц, работали одинаково и были достаточными для достижения той же производительности, что и байесовский декодер (показан серым цветом).

Действительно, как видно из Рисунка 3 — Приложение 1, модели, которые были обучены только на одной частотной полосе за раз, продемонстрировали точное пространственное декодирование на частотах от 165 Гц и выше. Это вместе с предыдущим анализом подтверждает гипотезу рецензента о том, что пики возбуждения выбираются в полосах частот ниже, чем традиционная частота среза LFP 250 Гц. Теперь мы пересмотрели наши утверждения в рукописи и указали на Рисунок 1 — Приложение 2, показывающее разницу в производительности декодирования для всех низкочастотных моделей.

Страница 4:

«Высокая точность и эффективность модели для этих более сложных образцов предполагает, что CNN использует дополнительную информацию от подпороговых пиков и тех, которые не были успешно сгруппированы, а также нелинейную информацию, которая недоступна байесовскому декодеру».

Страница 5: [Подпись к рисунку]

«Когда использовались только местные частоты (<250 Гц, CNN-LFP), производительность сети падала до уровня байесовского декодера (распределения показывают пятикратную перекрестную проверку производительности для каждого из пяти животных, n = 25).Обратите внимание, что это, вероятно, отражает возбуждающие всплески, регистрируемые на частотах от 150 до 250 Гц (рис. 1, приложение 2)».

Страница 6:

«Если мы переобучим модель на полосах частот 0–150 Гц и 150–250 Гц, мы увидим, что пространственная информация содержится преимущественно в более высоких частотах (Рисунок 1, Дополнение 2, см. также Рисунок 3 – Дополнение 1), вероятно, отражая мощность от волны пирамидальных ячеек, достигающие этих частот».

(3) При количественной оценке точности декодирования направления головы они сравнивают CNN с уровнями вероятности.Хотя это ценная мера, учитывая, что направление головы, по-видимому, в значительной степени определяется частотами LFP, связанными с возбуждающими и тормозными всплесками, могут ли авторы также сравнить декодирование направления головы между CNN и байесовским декодированием из кластерных спайков (включая как ex., так и inh. клетки). )? Доступна ли информация о направлении головы в кластеризованных данных или есть другие элементы в высокочастотном LFP, которые коррелируют с направлением головы? Если направление головы можно расшифровать с помощью сгруппированных спайков, почему, по мнению авторов, этого не наблюдалось в предыдущих исследованиях?

Мы благодарим рецензента за предложение запустить наше декодирование в направлении головы также с помощью байесовского декодера.Теперь мы включаем дополнительный анализ, в котором мы количественно оцениваем декодирование направления головы с использованием байесовской структуры декодирования, где мы вычисляем ошибки на основе циклических потерь, подобно тому, как CNN декодирует направление головы. Точность байесовского декодера для всех 5 крыс составляет 55,73 ± 8,07 градуса. Для сравнения, наша модель обеспечивает точность декодирования 34,37 ± 6,87 градуса. Таким образом, оба метода значительно лучше случайного (байесовская модель, двусторонний знаковый ранговый критерий Уилкоксона (n = 25): T = 0, p = 1.22e-5, двусторонний знаковый ранговый критерий Уилкоксона CNN (n = 25): T = 0, p = 1,22e-5), хотя CNN обеспечивает значительное преимущество, помимо простого байесовского декодирования (критерий знакового ранга Вилкоксона, двусторонний). односторонний (n=25): Т=47, р=0,0018). Неудивительно, что можно расшифровать направление головы по нейронам СА1. В течение некоторого времени было известно, что клетки места слабо модулируются направлением головы (Muller et al., 1994) и, как мы сообщаем в этой рукописи, гиппокампальный интернейроны модулируются аналогичным образом.Однако, по крайней мере, в случае ячеек места нелинейное взаимодействие между кодами направления и положения, вероятно, влияет на точность байесовского декодера, но не является проблемой для CNN.

Страница 7:

«Обратите внимание, что байесовский декодер, обученный декодировать направление головы, достигает производительности 0,97 рад ± 0,14 рад, используя отсортированные по пикам нейронные данные, что значительно хуже, чем наша модель (критерий знакового ранга Уилкоксона, двусторонний (n = 25): T = 47, p = 0,0018), но более точным, чем можно было бы ожидать случайно (критерий знакового ранга Уилкоксона, двусторонний (n = 25): T = 0, p = 1.22д-5)».

(4) В методах (строка 356) я не уверен, что авторы имеют в виду под «16 восемь тетродов». Имеются в виду 16 тетродов?

Мы благодарим рецензента за обнаружение этой ошибки, которую мы сейчас исправили. Мы действительно используем 16 тетродов на микродрайв, что дает 128 каналов (16 тетродов x 4 канала на тетрод x 2 микродрайва).

(5) Ось абсцисс на рисунках 4D и 4H должна быть помечена, особенно потому, что шкала кажется скорее логарифмической, чем линейной.

Действительно, частоты масштабируются в логарифмическом масштабе, и мы изначально решили показывать только некоторые частоты, чтобы не загромождать ось. Теперь мы изменили ось рисунка, чтобы показать каждую частотную составляющую. Для полноты мы теперь также сообщаем обо всех частотах в разделе методов.

Страница 16:

«Полное частотное пространство для тетродных записей состояло из 26 логарифмических частот с частотами Фурье: 2,59, 3,66, 5,18, 7,32, 10,36, 14,65, 20,72, 29,3, 41,44, 58.59, 82,88, 117,19, 165,75, 234,38, 331,5, 468,75, 663, 937,5, 1326, 1875, 2652, 3750,

5304, 7500, 15000 Гц. Для визуализации кальция используются следующие частоты Фурье: 0,002,

.

0,003, 0,005 0,007, 0,01, 0,014, 0,02, 0,03, 0,04, 0,02, 0,03, 0,04, 0,058, 0,08, 0,11, 0,16, 0,23, 0,33, 0,46, 0,66, 0,93, 1,32, 1,87, 2,65, 3,75, 5,3, 7,5, 10,6, 15 Гц ».

Рецензент №3 (Рекомендации авторам):

— Я думаю, что этот метод может быть очень полезен для сообществ ЭЭГ/ЭКоГ, которые заботятся о частотных представлениях, и обращение к этим сообществам значительно расширит полезность вашего метода для более широкого сообщества нейробиологов.На мой взгляд, если в статье нет примеров такого использования, гораздо меньше вероятность того, что исследователи ЭЭГ/ЭКоГ действительно будут использовать ваш метод на практике. Я думаю, что наличие примера ЭЭГ или ЭКоГ было бы намного полезнее, чем пример визуализации кальция, поскольку исследователи не пытаются определить, какое частотное содержание важно в сигнале визуализации кальция. Здесь есть список многих открытых наборов данных для ЭЭГ: https://github.com/meagmohit/EEG-Datasets

.

Мы благодарим рецензента за предложение оценить нашу модель на другом наборе данных из другого сообщества нейробиологов, чтобы увеличить потенциальное влияние нашей структуры.

Прежде всего мы хотим отметить, что содержание частот также может быть важно для исследователей визуализации кальция. Одно- или двухфотонные микроскопы сейчас разрабатываются для свободно движущихся животных и уменьшение размеров, необходимое для приспособления животного, чаще всего сопровождается уменьшением частоты дискретизации. Наши результаты декодирования и основные информативные частоты показывают, что частоты дискретизации около 1 Гц достаточно для захвата большей части информации, содержащейся в сигнале. Эта информация может дать другим исследователям нижнюю границу частоты дискретизации нейронного сигнала.

Как было предложено, теперь мы оцениваем нашу модель на общедоступном наборе данных ЭКоГ (Schalk et al. 2007), в котором движения пальцев участников записывались при одновременном получении сигналов ЭКоГ. Поскольку этот набор данных был частью конкурса BCI (BBCI IV), мы можем напрямую сравнивать результаты нашей модели с лучшими моделями конкурса. Мы использовали доступные обучающие данные от трех субъектов для обучения и проверки нашей модели и отчета о производительности на предоставленном наборе тестов. Каждому испытуемому было предложено двигать определенным пальцем в ответ на визуальный сигнал, который длился около 2 секунд.Мы использовали тот же конвейер модели, настроив параметры в соответствии с набором данных. В частности, мы использовали коэффициент понижения частоты дискретизации 50, поскольку исходная частота дискретизации составляет 1000 Гц (по сравнению с 30 000 Гц в записях CA1), что приводит к эффективной частоте дискретизации 20 Гц. Мы обучили модель со 128 временными шагами (6,4 с) и использовали функцию потери среднеквадратичной ошибки между исходным движением пальца и декодированным движением пальца. Как видно на Рисунке 4 — Приложение 1, мы достигаем среднего значения r Пирсона, равного 0,517 +- 0.160 по трем предметам. Лучший результат в конкурсе достиг производительности 0,46 (см. результаты конкурса).

Страница 12:

«Чтобы дополнительно оценить способность нашей модели декодировать непрерывное поведение на основе нейронных данных, мы исследовали ее производительность на наборе данных электрокортикографии (ЭКоГ), записанном у людей (Schalk et al. 2017), который был доступен в рамках конкурса BCI (BCI Competition). IV, набор данных 4). […] Эти результаты вместе показывают, что нашу модель можно использовать для решения широкого круга задач непрерывной регрессии как у грызунов, так и у людей, а также в широком диапазоне систем записи, включая наборы данных визуализации кальция и электрокортикографии.

– Думаю, общий обзор вашего подхода/метода в начале «Результатов» будет полезен для многих читателей.

Мы благодарим рецензентов за это предложение. Теперь мы добавили абзац, объясняющий, как устроен раздел «Результаты», и более подробно даем общий обзор нашего подхода.

Страница 3:

«В следующем разделе мы представляем нашу модель, результаты и описываем, как она применялась к различным наборам данных.[…] Преобразованные данные затем согласовываются с одним или несколькими выходными данными декодирования, представляющими различные типы поведения или стимулы, которые передаются через сверточную нейронную сеть, декодируя каждый выходной сигнал отдельно».

— Пожалуйста, уточните, когда вы сообщаете в своих результатах прогнозы тестового и тренировочного наборов.

Приносим извинения за отсутствие ясности в отношении использования обучающего и тестового набора. Теперь мы уточняем в рукописи, что все опубликованные прогнозы полностью перекрестно проверены на тестовом наборе, и ни в одном месте рукописи мы не сообщаем прогнозы обучения, кроме случаев, когда это явно указано (например,грамм. Рисунок S1).

Страница 3:

«Используя вейвлет-коэффициенты в качестве входных данных, модель была обучена контролируемым образом с использованием обратного распространения ошибки с координатами X и Y животного в качестве целей регрессии. Мы сообщаем о производительности набора тестов для моделей с полной перекрестной проверкой, используя 5 разделений на протяжении всего эксперимента».

— В последнем абзаце введения вы пишете: «Наша модель заметно отличается от традиционных методов декодирования, которые обычно используют байесовские оценки…». Это слишком специфично для декодирования гиппокампа — при декодировании движения байесовские методы используются нечасто, хотя линейные методы все еще обычно есть.

Мы благодарим рецензента за предложение открыть наше введение для более широкой аудитории. Теперь мы переписали рукопись следующим образом.

Страница 2:

«Наша модель заметно отличается от традиционных методов декодирования, в которых часто используются байесовские оценки (Zhang et al., 1998) для записей гиппокампа в сочетании с сильно обработанными нейронными данными или линейными методами для декодирования движения из ЭЭГ или

сигнала ЭКоГ (Антелис и др., 2013).

https://doi.org/10.7554/eLife.66551.sa2

Расшифровщик серийного номера гитар Gretsch

В первые годы ( 1939-1945 ) Gretsch начал с рукописных последовательных серийных номеров ( 001-999 ), написанных напрямую. внутри гитары.
Часто эти серийные номера расплывчаты, почти неразборчивы или полностью стерты.
Если вы увидите хотя бы три трудночитаемых номера, то можете быть уверены, что это довоенный инструмент.

В период с 1945 по 1954 происходит переход от рукописных серийных номеров к официальным этикеткам в 1949 , хотя нумерация осталась прежней.

Следующие серийные номера являются приблизительными. Как правило, более высокое число означает, что гитара была произведена позже в года или перенесены в диапазон следующего года.

(xx работает от 00 до 99)
Серийный номер ГОД ВЫПУСКА
Вниз 1000 До Второй мировой войны
1000 до 20xx 1945-1947
от 20xx до 30xx 1948-1949
от 30xx до 40xx 1950
от 40xx до 50xx 1951
от 50xx до 70xx 1952
от 70xx до 90xx 1953
от 90xx до 130xx 1954
В период 1954-1965 последовательная схема нумерации осталась прежней.Разница лишь в том, что количество выпущенных гитар (и, следовательно, серийные номера) выше.

(*) В 1957 году по неизвестным причинам было утеряно около тысячи этикеток с серийными номерами. Только в 1965 году часть этого была найдена и использована для производства того года.

Серийный номер ГОД ВЫПУСКА
от 130xx до 180xx 1955
от 180xx до 210xx 1956
от 210xx до 260xx 1957 (*)
260xx до 300xx 1958
от 300xx до 340xx 1959
от 340xx до 390xx 1960
от 390xx до 450xx 1961
451xx до 530xx 1962
от 530xx до 630xx 1963
от 630xx до 770xx 1964
от 770xx до 840xx 1965 (*)
С неизбежным приобретением Болдуином и ежегодным производством примерно 150 000 гитар Gretsch переключился на к системе кодирования с привязкой к дате в августе 1966 года.
Как ни странно, серийные номера некоторых гитар выбиты на узкой верхней части головы грифа. в то время как у других это штамповано на спине. С июня 1967 года текст «Сделано в США» ставится рядом с серийным номером
.

Распределение кода даты, использовавшееся с 1966 по 1972 год :
(без дефиса в серийном номере)
Первые цифры обозначают месяц изготовления (1-12 для января-декабря).
Следующая цифра – последняя цифра года (6, 7, 8, 9, 0, 1, 2 для 1966-1972 гг.).
Последние три цифры — номер производства в этом месяце.
Пример 129800 :
Месяц: Декабрь Год: 1969 Заводской номер: 800

Гитары, изготовленные из 1972-1981 , легче идентифицировать, потому что это единственные образцы Gretsch с дефисом. (или пробел) после первых одной или двух цифр.

Значение цифр такое же, как и у без дефиса .
Цифры дефиса обозначают месяц (1-12).
Первая позиция после дефиса (или пробела) представляет собой последнюю цифру года (2, 3, 4, 5, 6, 7, 8, 9, 0, 1 для 1972-1981 гг.).
Последние три цифры представляют номер производства в этом месяце.
Пример 6-2752 :
Месяц: июнь Год: 1972 Заводской номер: 752


До приобретения компанией Fender (в 2003 г.) более логичным является последовательное применение за период 1989-2002 гг. . продукция производства Японии с серийным номером xxxxxx-xxx.

Первые две цифры – год, следующая цифра или две цифры – это месяц (1-9/10-12). Следующие три цифры — это номер модели, например. 120 = G6120.
Цифры после дефиса показывают заводской номер при исполнении модели. (не для этого месяца или года)
Пример 976120-123 :
Месяц: июнь, год: 1997, модель: 120, заводской номер: 123


В 2003 году компания Fender приобрела Gretsch. Fender решил ввести единую систему серийных номеров для всех гитар после 2002 года.
Серийные номера Gretsch теперь имеют двухбуквенный префикс, указывающий место производства, за которым следует двузначным годом, двузначным месяцем и четырехзначным производственным номером, относящимся к этому конкретному заводу.
Места производства:
Префикс и страна Завод
CS США Custom Shop
CY China Yako
GP Coinea Reazell (до 2002 года)
кп Корея Peerless
KS KOREA SPG (Sound Professional Guitar Co, Ltd.)
JD Япония Dyna Gakki
JF Япония Fujigen Gakki
Terada Terada
– Индонезия Samick

Пример: KS14053456
Год выпуска: 2014. Месяц: май. Производство: Корея.
Завод: САУ. Заводской номер: 3456.

Декодирование оптических данных с помощью машинного обучения

Abstract

Оптическая спектроскопия и методы визуализации играют важную роль во многих областях, таких как диагностика заболеваний, биологические исследования, информационные технологии, оптика и материаловедение.За последнее десятилетие машинное обучение (МО) оказалось многообещающим в декодировании сложных данных, что позволяет быстро и точно анализировать оптические спектры и изображения. Этот обзор направлен на то, чтобы пролить свет на различные алгоритмы машинного обучения для анализа оптических данных с акцентом на их применение в самых разных областях. Цель этой работы — обрисовать достоверность декодирования оптических данных на основе ML. Обзор завершается взглядом на нерешенные проблемы и возможности в этой новой области, которая объединяет оптику, науку о данных и машинное обучение.

Ключевые слова: оптика, оптические данные, машинное обучение, декодирование данных. исследования, информационные технологии, фундаментальные исследования в области оптики, материаловедения и инженерии. Этот обзор направлен на то, чтобы обрисовать достоверность декодирования оптических данных на основе ML и устранить разрыв в знаниях между сообществами ML и оптики.

1. Введение

Оптика, [1] , который включает в себя различные подполя, такие как нелинейная оптика, [2] квантовая оптика, [3] нанофотоника, [4] биофотоника, биофотоника, [4] ] и оптической техники, [6] быстро растет. В частности, разработка и внедрение различных методов оптической спектроскопии и визуализации повлияли на научные исследования и инженерные приложения в широком диапазоне областей. [7] При применении спектроскопии и визуализации в медицине генерируется большое количество оптических данных, [8] биология, [9] информатика, [10] физика, [11] и материалы [ 12] .Становится все труднее декодировать постоянно растущее количество сложных спектров и изображений из различных оптических измерений и приложений, чтобы точно выявить соответствующую информацию. Например, рамановская спектроскопия фиксирует колебательную информацию о молекулярных связях, чтобы определить состав молекул. [13] При применении спектроскопии комбинационного рассеяния для исследования нескольких аналитов в сложных биологических средах часто возникают трудности с интерпретацией спектров комбинационного рассеяния из-за большого спектрального перекрытия, возникающего из-за общих связей в аналитах. [14] Чтобы получить точную информацию при флуоресцентной визуализации, необходимо глубокое понимание функциональных флуорофоров, системы оптической визуализации и взаимодействия света и флуорофора. [15] Чтобы получить обширную информацию о сложных нанорезонаторах по их спектрам оптического рассеяния, необходимо хорошее понимание различных электрических и магнитных мод. [16] Эти требования и проблемы возникают из-за того, что обычный анализ оптических данных является задачей, основанной на физике и основанной на опыте.Кроме того, вряд ли можно избежать человеческих ошибок, когда важная информация закодирована во все более сложных оптических спектрах и изображениях.

Машинное обучение (МО), подобласть искусственного интеллекта (ИИ), предоставило альтернативный способ получения информации о сложных данных. [17] ML включает в себя набор алгоритмов, которые обучаются на основе накопленного опыта. [18] Таким образом, ML может найти взаимосвязи между сложными данными, которые не различимы обычными аналитическими методами.Алгоритм машинного обучения строит внутреннюю математическую модель для обработки новых данных на основе введенных в нее обучающих данных и ищет скрытые связи в данных. Модель настраивает свои внутренние параметры с помощью нескольких циклов ввода данных, пока не сойдется к определенной оптимальной цели. В зависимости от целей алгоритмы машинного обучения можно разделить на контролируемые и неконтролируемые. [19] Алгоритмы контролируемого машинного обучения имеют обучающие данные, помеченные определенным целевым значением, чтобы точно предсказать цель при наличии новых входных данных.Неконтролируемые алгоритмы получают немаркированные входные данные и стремятся сгруппировать данные в отдельные категории. Оба типа алгоритмов устойчивы к обработке многомерных входных данных и поиску сложных и неинтуитивных отношений. Что еще более важно, они могут выводить новые прогнозы почти мгновенно после обучения. В целом быстрый анализ нескольких параметров дает этим алгоритмам возможность точного прогнозирования и классификации сложных данных.

Интеллектуальная оптика, новая область, объединяющая машинное обучение и оптику, быстро развивается.Основные области исследований интеллектуальной оптики включают обратное проектирование оптических структур и материалов с помощью МО, полностью оптические нейронные сети [20] , [20a, 21] и декодирование оптических данных с помощью МО. [22] В последние годы появилось большое количество исследовательских статей, сообщающих о прогрессе в анализе оптических данных с помощью машинного обучения для широкого круга приложений (). Например, для анализа оптических данных были разработаны алгоритмы машинного обучения для поиска характерных параметров в пространстве данных и установления статистической взаимосвязи с целевой информацией.Новые алгоритмы машинного обучения также стремятся раскрыть внутренний физический механизм, скрытый за сложными оптическими данными, чтобы построить мост между необработанными данными и конечной целью. Другими словами, когда общая база данных доступна для предварительной загрузки, эта статистическая схема может сократить время анализа данных, пропуская промежуточные сегменты, и дает представление о неизвестной физике. Однако всесторонняя обзорная статья, посвященная этим новым разработкам в области декодирования оптических данных с помощью ML, пока недоступна.Мы считаем уместным написать обзорную статью, в которой представлен обзор этой темы с акцентом на новые разработки и приложения.

Схематическое изображение декодирования оптических данных с помощью машинного обучения и его применения в различных областях.

Элементы на внешнем кольце указывают на различные приложения, а элементы на внутреннем кольце указывают на репрезентативные алгоритмы машинного обучения.

В разделе 2 мы представляем различные типы оптических данных и алгоритмы машинного обучения, применимые к декодированию данных.В разделе 3 мы обсуждаем недавний прогресс в декодировании оптических данных с помощью машинного обучения с упором на приложения в диагностике заболеваний, неинвазивных биологических исследованиях, информационных технологиях, фундаментальных исследованиях в оптике, материаловедении и инженерии. Значительное повышение эффективности, точности и новой информации анализа оптических данных делает эти подходы на основе машинного обучения чрезвычайно привлекательными. Мы также признаем большие успехи, достигнутые в области оптических методов с помощью машинного обучения в сельском хозяйстве. В этой области было немало отличных обзорных статей [23] .В разделе 4 мы завершаем описание возможностей и будущих направлений этой захватывающей области, объединяющей оптику и машинное обучение. [24]

2. Краткий обзор оптических данных и машинного обучения

Обычный анализ оптических спектров и изображений часто выполняется исследователями с большим опытом работы в соответствующей области. Такой анализ сложных оптических данных может занимать много времени и быть подверженным ошибкам. Было продемонстрировано, что машинное обучение повышает эффективность и точность классификации оптических сигналов, [25] выявления свойств объекта, [26] и прогнозирования распределения оптического поля. [27] Появление больших объемов оптических данных и мощных алгоритмов машинного обучения привело к быстрому развитию декодирования оптических данных на основе машинного обучения в качестве аналитического метода, управляемого данными. [22a]

Различные оптические спектры могут быть зарегистрированы с использованием спектроскопии оптического пропускания, отражения, поглощения, рассеяния, комбинационного рассеяния и флуоресценции. Данные оптического изображения можно собирать с помощью голографической, флуоресцентной и томографической микроскопии. Все эти спектры и изображения содержат разную информацию в зависимости от измеряемых объектов.Лучшее извлечение, понимание и прогнозирование важной информации из этих оптических данных является основной целью декодирования данных с помощью ML. Несколько примеров оптических данных описаны ниже, после чего следует краткое введение в машинное обучение.

Спектры рассеяния металлических наночастиц содержат информацию об оптических колебаниях [28] и могут быть измерены методом темнопольной спектроскопии с высоким пространственным разрешением. Спектроскопия темного поля выигрывает от высокого контраста между фоном и рассеивающими объектами и дает значительное преимущество при измерениях рассеяния одной частицы.Он обычно используется для исследования наноразмерных взаимодействий света и вещества. [27a, 29] Оптические спектры пропускания, отражения и поглощения часто измеряются для периодических наноструктур и оптически однородных материалов. [30] Когда падающий свет имеет круговую поляризацию, можно измерить хиральный отклик материалов. [31] Рамановская спектроскопия, основанная на процессе нелинейного рассеяния, позволяет измерять молекулярные колебательные моды, [13] и часто применяется в биологических исследованиях. [25a, 26a, 32] Инфракрасная спектроскопия с преобразованием Фурье (FTIR) также может обнаруживать моды молекулярных колебаний. [33],[34] Его чувствительность к определенным группам химических связей может компенсировать пробелы рамановской спектроскопии.

Обычная оптическая микроскопия широко применяется в различных областях. Цифровая голографическая микроскопия (DHM) включает цифровое создание голограммы из микроскопических изображений. Данные, генерируемые DHM, включают информацию как об амплитуде, так и о фазе, что дает исчерпывающую топологическую информацию об образце.DHM может быть универсальным методом четырехмерной визуализации, который отслеживает динамику образцов. При минимальной оптической аберрации DHM позволяет записывать изображения высокого качества. [35] При флуоресцентной микроскопии [15] множественные флуорофоры демонстрируют разную степень флуоресценции и, следовательно, могут использоваться для различения различных органелл субмикронного масштаба в биологии. Оптическая когерентная томография (ОКТ) — это метод визуализации, концептуально аналогичный методу ультразвуковой диагностики. [36] ОКТ предпочтительнее таких методов, как магнитно-резонансная томография (МРТ) и ультразвуковое исследование в биологической визуализации из-за более высокого разрешения. [37] Эти методы оптической визуализации могут значительно выиграть от методов машинного обучения, приводя к изображениям с более высоким разрешением [38] и автоматическому обнаружению полезной информации из изображений. [39]

Искусственные нейронные сети (NN), случайные леса (RF) и машины опорных векторов (SVM) широко используются для обработки оптических данных.Обычно это алгоритмы обучения с учителем. NN работают с большим количеством взаимосвязанных узлов обработки, которые соединяют входы с выходами через ряд промежуточных слоев (). [40] Глубокие нейронные сети (DNN) и связанный с ними метод глубокого обучения (DL) охватывают нейронные сети с большим количеством слоев. [20b, 41] Большое количество внутренних параметров, которые можно оптимизировать во время обучения, обеспечивает чрезвычайно высокую пластичность для изучения сложных и нелинейных взаимосвязей в данных.Одно явное преимущество NN заключается в том, что для более эффективного и точного моделирования конкретных данных можно использовать самые разные типы слоев и архитектур. Например, в полносвязных НС каждый нейрон одного слоя связан с каждым нейроном следующего. Это дает невероятную возможность изучать сложные глобальные отношения высокого и низкого уровня в данных за счет высоких вычислительных затрат. [42] Сверточные нейронные сети (CNN) пропускают ряд фильтров над данными, которые могут учиться на основе отношений каждого входа к соседним входам, позволяя более эффективно учиться на изображениях и спектральных данных. [43] RF — это еще один тип алгоритмов, построенных как набор деревьев решений. [44] Каждое дерево решений работает как блок-схема, выполняя серию двоичных разбиений входных данных на разные ветви до получения окончательного прогноза или классификации. Затем RF строится из большой коллекции деревьев, каждое из которых имеет доступ к разным случайным подмножествам обучающих данных (). Несмотря на простоту модели, RF показала свою эффективность при моделировании сложных данных.RF также очень устойчив к переобучению — проблеме алгоритмов машинного обучения, которые запоминают обучающие данные, но не могут обобщать новые невидимые данные. [45] Кроме того, такие модели на основе дерева решений могут также изучать и ранжировать относительную важность различных входных переменных для окончательного прогноза. Это обеспечивает некоторую степень физической интерпретируемости по сравнению с NN, которые обычно работают как черные ящики. И NN, и RF обычно используются для задач классификации, где прогнозируемый результат является двоичной или категориальной переменной, а также для задач регрессии, где результат является непрерывной переменной.SVM — это алгоритм, обычно зарезервированный для задач бинарной классификации, когда данные попадают в одну из двух категорий (). SVM работают, используя обучающие данные для расчета оптимальной гиперплоскости, границы, которая наиболее эффективно разделяет данные на два класса. [46] Хотя SVM обычно имеют более ограниченный диапазон данных, к которым они применимы, они часто могут превзойти NN и RF в этих конкретных задачах и включают более дешевые в вычислительном отношении процессы обучения. [47] SVM также могут быть расширены для задач классификации с несколькими категориями, как правило, путем преобразования задачи множественной классификации в серию задач бинарной классификации и обучения нескольких SVM. [48] По мере увеличения количества категорий другие алгоритмы ML для классификации, такие как NN и RF, становятся более подходящими. В то время как многие другие алгоритмы ML, такие как иерархическая кластеризация [49] и t-распределенное стохастическое встраивание соседей, существуют, NN, RF и SVM нашли самое широкое применение при декодировании оптических данных.

Схематические иллюстрации репрезентативных алгоритмов машинного обучения, используемых для оптического декодирования данных.

(a) Схема стандартной нейронной сети с прямой связью, в которой каждый входной параметр (синий) связан с каждым выходным параметром (зеленый) серией скрытых узлов (красный) и соединений.(b) Схема случайного леса, состоящего из большого набора деревьев решений. Каждое дерево изучает оптимальные точки ветвления из данных, направляя вход к выходу в виде блок-схемы. Каждое дерево будет видеть рандомизированную часть данных, поэтому точки ветвления могут различаться между деревьями. Прогнозы всех деревьев (зеленые) объединяются, чтобы сделать окончательный прогноз. (c) Схема машины опорных векторов (SVM), которая использует данные для определения оптимальной границы для разделения двух классов данных (обозначенных здесь синим и красным).SVM пытается максимизировать разрыв между границей и линиями, попадающими в ближайшие точки каждого класса, как показано пунктирными линиями.

Алгоритмы, перечисленные выше, обычно являются контролируемыми алгоритмами, то есть они работают с помеченными данными. Неконтролируемые алгоритмы не будут иметь какого-либо конкретного целевого значения, которое модель пытается предсказать. Вместо этого они стремятся извлечь полезную информацию из набора данных, группируя похожие точки вместе для таких целей, как уменьшение размерности или кластеризация данных.Некоторыми из таких алгоритмов являются теория искажения скорости (RDT), агломеративная иерархическая кластеризация (AHC) и модели гауссовой смеси (GMM). AHC работает в рекурсивном восходящем подходе. Он объединяет данные в кластеры, а затем объединяет эти кластеры в более крупные кластеры, создавая древовидную диаграмму по мере продвижения выше. RDT основан на сжатии данных, поиске наиболее компактных представлений данных. Следовательно, это обеспечивает более эффективную кластеризацию, когда существует большое перекрытие между возможными кластерами. [51] GMM используют серию распределений Гаусса с различными весовыми параметрами для кластеризации данных. Кроме того, некоторые алгоритмы, которые обычно используются для обучения с учителем, имеют вариации без учителя, в том числе самоорганизующаяся карта, которая является типом NN, используемым для уменьшения размерности.

Как и в случае алгоритмов с учителем, алгоритмы без учителя черпают свою силу из поиска сложных взаимосвязей в данных, которые не могут быть легко доступны с помощью человеческой интуиции или обычного анализа данных.Однако, поскольку у алгоритма нет возможности узнать, с чем коррелируют сгруппированные или сокращенные данные, поскольку данные не помечены, обучение без учителя обычно необходимо сочетать с другими методами анализа данных. Например, можно применить неконтролируемый алгоритм для разделения набора данных на несколько кластеров, а затем вручную проверить, коррелируют ли эти кластеры с какой-либо полезной информацией. Выбор контролируемых и неконтролируемых алгоритмов, как и выбор алгоритмов среди этих категорий, зависит от доступности данных и целей исследователей.Немаркированные данные, как правило, гораздо проще и дешевле получить, чем помеченные, но помеченные данные позволяют использовать более целенаправленные приложения, а также более точную и полезную кластеризацию.

Имея множество доступных оптических данных и алгоритмов машинного обучения, крайне важно выбрать наиболее подходящие алгоритмы для решения поставленных задач. Например, задача двухкластерной классификации может быть легко решена с помощью SVM с более дешевыми в вычислительном отношении процессами обучения, тогда как решение сложных отношений, скрытых за множеством параметров, обычно требует мощных и, следовательно, дорогостоящих в вычислительном отношении NN.Однако склонность к переоснащению может сделать НС непригодными для некоторых весьма специфических задач. С переобучением можно бороться с помощью таких методов, как регуляризация, процесс наложения дополнительных жестких штрафов на целевую функцию во время обучения, но это, в свою очередь, может привести к несоответствию модели. Этот компромисс лежит в основе поиска оптимальной модели машинного обучения для данной задачи. Когда задача определена, еще одним важным вопросом, который необходимо рассмотреть, является физическая интерпретируемость. Таким образом, ранжирование важности входных переменных является значительным преимуществом RF.В нескольких недавних работах использовались преимущества новых объяснимых алгоритмов машинного обучения [52] и углублялась концепция открытия знаний с помощью ИИ в исследованиях оптики и фотоники. [53] Одной из общих тем в декодировании оптических данных с помощью машинного обучения является то, что многие алгоритмы машинного обучения по-прежнему полагаются на данные опытных исследователей, несмотря на то, что их целью является достижение полностью автономной работы. Исследователям необходимо сравнить различные алгоритмы машинного обучения для конкретной физической проблемы или вручную установить ограничения и модифицировать алгоритмы на основе своего опыта.Более того, как процесс, управляемый данными, декодирование оптических данных с помощью ML всегда зависит от хороших вводных данных для обучения. Например, качество обучающих данных напрямую ограничивает наилучшую производительность контролируемой модели. [54] Более информативные оптические данные также могут привести к более высокой точности в неконтролируемой модели. [55] Таким образом, генерация и отбор высококачественных данных так же важны, если не более, чем сложная разработка передовых алгоритмов машинного обучения. В сообществе оптики распространена проблема, заключающаяся в том, что смоделированные данные можно получить довольно легко, а экспериментальные данные стоят дорого.Чтобы преодолеть серьезную проблему обучения алгоритма машинного обучения только на нескольких данных, хорошим решением может быть трансферное обучение, при котором модель, предварительно обученная для одной задачи (например, моделирования), может быть перенастроена для другой аналогичной задачи (например, эксперименты). Некоторые первоначальные попытки были продемонстрированы в оптике и фотонике. [56] В этой захватывающей области, объединяющей машинное обучение и оптику, ожидаются улучшенная совместимость и более эффективное сочетание.

3. Случаи декодирования оптических данных с помощью МО

3.1. Диагностика заболеваний

Произошел взрыв в области диагностики заболеваний с помощью ИИ. [57] Алгоритмы машинного обучения применялись для интерпретации оптических данных в контексте спектроскопического анализа и распознавания изображений. В этом разделе мы выделим некоторые репрезентативные работы. Мы рассмотрим универсальность алгоритмов ML в их применимости к различным категориям заболеваний, таким как неопластические, [26b, 55, 58] инфекционные, [25a, 39, 59] воспалительные, [60] и другие. [61]

В области неопластических заболеваний реализованы алгоритмы машинного обучения, чтобы отличить ткань злокачественной опухоли от доброкачественных клеток на основе микроскопических изображений. Традиционный подход к диагностике рака предполагает интерпретацию изображений человеком, что неэффективно и подвержено человеческим ошибкам. Чтобы преодолеть эти проблемы, различные модели машинного обучения использовались в сочетании с оптическими методами для интеллектуальной диагностики. Алгоритмы включают контролируемые модели, такие как SVM, [62] DNN [63] и RF, а также неконтролируемые модели, такие как RDT и AHC, как упоминалось в разделе 2.

Тейлор и др. . выполнили диагностику фолликулярного рака щитовидной железы с помощью ML-анализа микроскопических изображений комбинационного рассеяния. [55] Клетки FTC-133 (злокачественные) и клетки Nthy-ori-3-1 (доброкачественные) были выбраны в качестве образцов, и были введены два набора данных с клеточным и субклеточным разрешением. Субклеточные данные предоставляют больше спектральной информации. В качестве примера показаны рамановские изображения субклеточного разрешения с дифференциальными локализованными сигналами при типичных энергиях отклика цитохромов (750 см -1 ), белков (1670 см -1 ) и липидов (2850 см -1 ). ).Они наложены в рамке справа от , указывая на распределение этих видов внутри клеток. Во время анализа применялся AHC с данными клеточного разрешения, тогда как RDT выбирался на субклеточном уровне. Это связано с тем, что выбросы и шумы обнаружения гораздо более значительны в субклеточных данных, и AHC чувствителен к этим факторам. Более того, RDT может соотносить важность спектрального класса с типом клеток. RDT работал лучше, чем AHC, с точностью около 90% по сравнению с 77% у последнего.Кроме того, как показано на рисунке , введение большего количества спектральных классов в субклеточную классификацию может привести к более точному прогнозированию: от 33 из 49, правильно отождествляемых с 2 классами, до 44 из 49 для 8 классов. Анализ показал, что клетки FTC-133, как правило, имеют большее количество молекул липидов, что согласуется с предыдущими исследованиями. [64] Это исследование показывает преимущество методов машинного обучения в расшифровке более информативных данных субклеточного комбинационного рассеяния, что позволяет лучше понять химическую природу рака.

ML Расшифровка оптических данных в диагностике новообразований.

(a) Карты комбинационного рассеяния на 750 см -1 , 1670 см -1 и 2850 см -1 , с наложением их крайним справа. (b) Сегментация RDT с увеличением спектральных классов слева направо. Соответствующая точность предсказания указана внизу. Воспроизведено с разрешения. [55] Copyright 2019, Американское химическое общество. (c) Трехмерное изображение образца и извлеченных деталей, включая микрометастазы, сосуды, ядра, интенсивность наночастиц (NP) и расстояние Np до сосуда.(d) Прогноз доставки наночастиц на основе перечисленных физиологических параметров. 80% набора данных использовалось для обучения, а оставшаяся часть использовалась для прогнозирования. Было разработано несколько моделей SVM для прогнозирования различных параметров доставки, таких как средняя интенсивность наночастиц и плотность наночастиц. Воспроизведено с разрешения. [26b] Copyright 2019, Национальная академия наук США.

В другом исследовании Kingston et al. данные трехмерной (3D) микроскопии были эффективно сегментированы и использованы для прогнозирования доставки наночастиц золота в микрометастазы у мышей с помощью ML. [26b] Микрометастазы играют решающую роль в распространении рака, а их небольшой размер, неоднородность и распределение по всему телу делают их отслеживание монументальной задачей. В этом исследовании авторы нанесли на карту распределение наночастиц, доставленных в эти микрометастазы. Наночастицы золота были обнаружены с помощью оптической микроскопии рассеяния, тогда как сосуды и микрометастазы наблюдались и маркировались с помощью флуоресцентной микроскопии, объединенной в трехмерное изображение. Инструмент на основе SVM использовался для сегментации 3D-изображений, выявления микрометастаз, сосудов, ядер и наночастиц, как показано на рис.Сегментация дает важную информацию, такую ​​как расстояние наночастиц от сосудов, что полезно при определении эффективности терапии рака на основе наночастиц. Другая модель SVM была разработана авторами для прогнозирования доставки наночастиц в микрометастазы. Как показано на , эта модель учитывала такие параметры, как расстояние от сосудов и плотность клеток, чтобы предсказать выход доставки наночастиц. На данных были протестированы три модели SVM, а именно линейная, квадратичная и кубическая.Их различие основано на характере оптимальной гиперплоскости, используемой для классификации. Было замечено, что квадратичная модель SVM имеет лучшую производительность. Установлена ​​предсказуемая корреляция между патофизиологией микрометастазов и родоразрешением.

Многочисленные диагностические исследования инфекционных заболеваний на основе ОД также проводились. Например, применяя CNN к спектрам комбинационного рассеяния, Хо и др. . продемонстрировали идентификацию 30 распространенных патогенных бактерий и автоматическое назначение соответствующего лечения антибиотиками. [25a] иллюстрирует среднее значение 2000 спектров от 30 изолятов. Они сгруппированы по цвету в соответствии с выбранным вручную лечением антибиотиками. Как показано на рисунке, одномерная (1D) остаточная сеть с 25 общими сверточными слоями использовалась для классификации спектров комбинационного рассеяния с низким уровнем сигнала как одного из 30 изолятов (штаммов) и для назначения правильного лечения антибиотиками. Например, ванкомицин был назначен как для MRSA, так и для MSSA (метициллин-резистентный и метициллин-чувствительный Staphylococcus aureus).С точностью 82% модель смогла превзойти SVM в идентификации отдельных изолятов на 8% в том же наборе данных. Это согласуется с нашим утверждением в разделе 2, что NN лучше в случае нескольких выходов, тогда как SVM намного дешевле в вычислительном отношении. Кроме того, точность прогнозирования лечения антибиотиками была близка к 97%, что более актуально в клинических условиях. На практике авторы также продемонстрировали, что такая хорошая производительность может быть достигнута в среднем только для ~10 клинических спектров, как показано на рис.Авторы также показали, что точно настроенная модель, которая использует небольшой объем данных из клинических образцов крови в процессе обучения, способна работать еще лучше. Более того, в качестве доказательства концепции был смоделирован бинарный классификатор чувствительности к антибиотикам на основе MRSA и MSSA. показывает высокую специфичность (истинно отрицательный показатель) и чувствительность (истинно положительный показатель) для этой демонстрации. Подводя итог, можно сказать, что в этом исследовании использовался подход машинного обучения для получения высокоточных диагностических результатов по зашумленным спектрам комбинационного рассеяния.Он также показывает возможность легкого распространения на другие обычные клинические образцы, такие как мокрота и моча.

Оптическая диагностика инфекционно-воспалительных заболеваний с помощью МО.

(a) Средние спектры комбинационного рассеяния 30 патогенных бактерий выделены жирным шрифтом, вместе с наложенными репрезентативными шумовыми сигналами. Они сгруппированы по цвету в зависимости от лечения антибиотиками: светло-голубой, ванкомицин; Синий, Цефтрисон; Фиолетовый, пенициллин; Розовый, Даптомицин; Апельсин, Меропенем; Браун, ципрофлоксацин; Тан; Зеленый, ТЗП; Темно-синий, каспофунгин.(b) 1D CNN с 25 слоями обучается как на спектрах комбинационного рассеяния, так и на выборе лечения антибиотиками. (c) Точность моделей в процентах от количества спектров, необходимых для ее достижения. Под тонкой настройкой модели подразумевается небольшое количество клинических данных, задействованных в процессе обучения. ( d ) ROC-кривая для бинарного классификатора MRSA / MSSA с осью x , представляющей чувствительность (истинная положительная частота), и специфичностью y (истинная отрицательная частота). Площадь под кривой (~0.95) указывает на точность модели. Воспроизведено с разрешения. [25a] Copyright 2019, Nature Publishing Group. ( e ) Усредненные спектры комбинационного рассеяния семи кластеров на основе изображений комбинационного рассеяния с 48 ячейками. Нумерация идет по возрастанию интенсивности липидных сигналов. (f) Дендрограмма AHC с идентифицированными и помеченными пороговыми значениями. Дендрограмма используется для группировки карт кластеров по сходству в биохимическом распределении. Воспроизведено с разрешения. [60a] Copyright 2019, Wiley.

В области воспалительных заболеваний, Хелал и др. .продемонстрировали метод с помощью машинного обучения для помощи и информирования людей о диагнозах. [60a] С помощью RDT и модели AHC они проанализировали данные спектроскопии комбинационного рассеяния для идентификации химических факторов, которые способствуют неалкогольной жировой дистрофии печени (NAFL) и неалкогольному стеатогепатиту (NASH) у крыс. Из двух последних более смертоносен, поскольку связан с развитием цирроза печени и гепатоцеллюлярной карциномы (рака печени). Во-первых, клетки печени крыс на трех разных диетах (стандартная (SD), с высоким содержанием жиров (HFD), с высоким содержанием жиров и высоким содержанием холестерина (HFHC)) были охарактеризованы с помощью рамановского картирования.После предварительной обработки с помощью суперпиксельной сегментации карты комбинационного рассеяния были сгруппированы с помощью RDT () и определена важность соответствующих спектральных признаков с использованием RF-классификатора. Затем эти кластеры были нанесены обратно на клеточные карты, иллюстрирующие биохимическую среду клетки. Кроме того, эти кластерные карты были сгруппированы в соответствии со сходством их химического распределения с помощью модели AHC, и был определен порог для связи молекулярной информации с диетами и заболеваниями печени.Дендрограмма AHC вместе с пороговыми значениями показана на рис. Порог 4 был определен как оптимальный, он разделяет спектры на 5 отдельных групп с точностью предсказания диеты ~ 91%. AHC также выявляет несколько качественных тенденций. Наблюдается увеличение клеточного присутствия липидных молекул у крыс при потреблении рационов SD, HFD и HFHC. Существует также последовательное увеличение заболеваний печени, связанное с прогрессивным увеличением присутствия молекул липидов, что показывает заметную взаимозависимость между диетами и заболеваниями печени.В заключение, это исследование предоставило эффективный метод анализа биомолекулярной информации из спектров комбинационного рассеяния и стало диагностическим подспорьем для гистопатологов.

Примером серьезного заболевания, которое явно не попадает ни в одну из предыдущих категорий, является сахарный диабет. Диабет в первую очередь диагностируется путем анализа уровня глюкозы в крови натощак. Кюнер и др. . использовали поверхностно-усиленную инфракрасную абсорбционную спектроскопию и ML для неинвазивной оценки количественных уровней глюкозы в крови. [61c] Применяя анализ основных компонентов (PCA), который представляет собой метод анализа данных для уменьшения размерности, на вибрационной информации, авторы добились селективного определения содержания глюкозы в смеси сахарозы и глюкозы с чувствительностью до 10 г/л. Это исследование показывает потенциал неинвазивной и высокочувствительной диагностики с помощью ML.

Стоит отметить, что многие из оптических инструментов в упомянутых выше исследованиях не являются портативными.Тем не менее, в последнее время наблюдается значительный толчок к тестированию в местах оказания медицинской помощи с использованием портативных диагностических устройств. Отметим, что некоторые из этих портативных устройств также сочетают в себе методы машинного обучения для лучшей интерпретации оптических данных. Поэтому мы хотели бы процитировать некоторые из этих исследований для справки читателей в категориях неопластических, [38, 59a, 65] инфекционных [39, 59b, 59e, 66] и воспалительных заболеваний [67] .

3.2. Неинвазивное биологическое исследование

Помимо диагностики, машинное обучение также применялось для изучения фундаментальных биологических явлений.Примеры включают обнаружение биологических видов с помощью машинного обучения и улучшение качества биоизображения. Мы обсудим эти приложения в зависимости от типа используемых оптических методов.

Многие исследования использовали FTIR для обнаружения биологических видов. [59d, 68] Эллис и др. . объединили FTIR и генетические алгоритмы (ГА) для количественной оценки микробной активности в мясе. [69] ГА работает аналогично естественному отбору в реальном мире. Существует множество возможных решений.В каждом поколении новые решения генерируются из предыдущих с некоторыми «мутациями», а худшие решения удаляются. Этот процесс повторяется, медленно оптимизируя до достижения некоторого оптимального состояния. В этом исследовании мутации были остановлены после того, как они преодолели определенное пороговое значение числа бактерий, равное 10 7 . Генетическая программа (ГП), одно из приложений ГА, также использовалась для получения математического уравнения или правила для задачи. Спектры FTIR и колебания, соответствующие различным амидным и аминовым связям, представлены на .Все спектры перекрываются, показывая область существенного различия в диапазоне волновых чисел 1000–1500 см 91 526 -1 91 527 . Частичный метод наименьших квадратов (PLS), еще один статистический метод, также был продемонстрирован, как показано на рис. Хотя он хорош в прогнозировании, он не может определить основные физические явления, влияющие на спектры. С другой стороны, GP предсказала порчу мяса и выявила важные области FT-IR-спектров. Как показано в , частота волновых чисел в анализе ГА самая высокая в диапазоне от 1088 до 1096 см -1 .Эта область была связана со связями C-N в аминах, которые, как ожидалось, присутствовали в большем количестве в испорченном мясе.

Идентификация видов бактерий на основе спектроскопических данных, декодированных методом ML.

(a) Слева: 150 FTIR-спектров образцов до и после порчи. Отмечается изменение сигнала, связанное с браком. Справа: увеличенное изображение области порчи. Показаны две репрезентативные выборки вместе с коэффициентом корреляции Пирсона (R).Звездочками отмечены пики, связанные с колебаниями амида I (1640 см -1 ), амида II (1550 см -1 ) и амина (1240 и 1088 см -1 ). (b) Анализ методом PLS, показывающий хорошее соответствие между прогнозируемым и измеренным общим числом жизнеспособных клеток (TVC). Круг, калибровочный набор. Треугольник, набор перекрестной проверки. Квадрат, тестовый набор. (в) Суммарная частота входа в 10 независимых ГП при разных волновых числах. Включены два репрезентативных спектра. Включены два репрезентативных спектра.Воспроизведено с разрешения. [69] Copyright 2002, Американское общество микробиологии (США). (d) Изображение, показывающее вегетативные и споровые клетки. (д) Объемные спектры вегетативных и споровых клеток. (е) Различные глубины спор, на которых была проведена рамановская спектроскопия, вместе с полученными картами. Воспроизведено с разрешения. [70c] Copyright 2005, Американское общество микробиологии (США).

Рамановская спектроскопия также часто используется в биологических исследованиях. [70] Например, Rösch и др. . использовали рамановскую микроспектроскопию для обнаружения отдельных бактерий. [70c] Комбинируя SVM с рамановской визуализацией, они смогли идентифицировать отдельные бактерии за короткое время интеграции ~60 секунд. Можно было успешно различать разные виды бактерий, например. вегетативно-споровые или окрашенные и неокрашенные. показывает репрезентативное изображение клеток спор и вегетативных клеток от типичных загрязнителей, обнаруженных в чистых помещениях. иллюстрирует объемные спектры для вегетативных и споровых клеток.Спектральное различие в основном связано со слоями спор. Хотя между этими двумя спектрами легко провести простое различие, идентификация клеток не так проста. Споровые клетки особенно трудно обнаружить с помощью объемных спектров комбинационного рассеяния из-за наличия внешних слоев, что приводит к гетерогенным сигналам. Следовательно, спектры одиночных клеток более полезны для обнаружения этих видов. Авторы собрали спектры с разной глубины клеток, как показано на рисунке, что предоставило более информативные обучающие данные и, таким образом, привело к большей точности предсказания.Построены соответствующие позиционные рамановские карты. Метод идентификации с помощью ML обеспечил точность до 93%. Более того, различные штаммы бактерий, возникающие в разных условиях культивирования, также могут быть идентифицированы с точностью ~89%. Производительность можно было бы улучшить, если бы в процессе обучения в качестве входных данных модели машинного обучения рассматривалось больше факторов, например, эффект фотообесцвечивания для цветных видов.

Основной успех машинного обучения в декодировании изображений заключается в эффективном извлечении скрытой информации. [26a, 71] Здесь мы хотели бы представить интерфейс машинного обучения (названный Aro), разработанный Ву и Рифкиным. Основываясь на радиочастотной модели, Aro способен идентифицировать отдельные молекулы в клетках по изображениям, полученным с помощью флуоресцентной микроскопии. [72] Программа Aro позволяет пользователям вручную выбирать наборы данных для модели, выступая в качестве универсального универсального инструмента для обнаружения различных биологических и химических видов. В качестве примера они представили неинвазивную идентификацию матричной РНК в клетках с помощью Аро на основе их флуоресцентных изображений.Авторы заметили, что для стабильной классификации достаточно обучающих наборов с несколькими сотнями положительных и отрицательных примеров. Как показано на левой панели, синие контуры на изображении представляют сигнальные пятна, а желтые прямоугольники — шумные пятна. Все они были вручную идентифицированы для обучающей выборки. На правой панели показан пример того, как Аро точно определяет сигнальные точки после тренировки. Для изображений с низким отношением сигнал-шум (SNR) Аро по-прежнему может работать хорошо, точно оценивая доверительный интервал глобальных максимумов (истинных пятен) по локальным максимумам (фоновые пятна).Как показано на рисунке, большие площади под кривой рабочей характеристики приемника (ROC) достигаются, несмотря на низкое отношение сигнал/шум. сравнивает эффективность Aro с эффективностью двух других методов, т. е. FISH-Quant и порогового пикинга. Аро показал лучшие результаты среди трех со значением коэффициента корреляции, близким к 0,99. Будучи явно надежным и универсальным, Aro предоставляет платформу машинного обучения для удобного анализа флуоресцентных изображений.

ML декодирование оптических изображений для биологических приложений.

(а) Слева: этап обучения Аро.Для идентификации пятен использовалась сетка, где синие прямоугольники представляли настоящие пятна, а желтые прямоугольники представляли собой шум. Справа: истинные точки, определенные обученным Аро. (b) Площадь под ROC-кривой в зависимости от SNR. (c) Сравнение точности идентификации целей Aro с двумя другими моделями, т. Е. FISH-Quant и пороговым выбором. Воспроизведено с разрешения. [72] Copyright 2015, BioMed Central. (d) Микроскоп без объектива на чипе, используемый для определения жизнеспособности дрожжей.Слева: краткая схема установки, включая полосовой фильтр, встроенный датчик CMOS и источник светодиодной подсветки. Справа: процесс анализа полученных голограмм. (e) Сравнение модели AYAP с ручным подсчетом образцов с переменным разбавлением. Синие точки представляют подсчет устройства, а красные точки — ручной подсчет. Воспроизведено с разрешения. [71a] Copyright 2016, Королевское химическое общество. (f) Оптическая установка мультимодальной оптической визуализации и спектроскопии с помощью ML вместе с рабочим процессом.Установка позволяет одновременно получать изображения QPM через интерферометрический микроскоп, а набор переворачивающихся зеркал также позволяет записывать изображения AF через эпифлуоресцентную систему с широким полем. Спектры комбинационного рассеяния собираются с помощью сканирующего микроскопа. (g) График вероятности активации для морфологической (слева) и спектральной (справа) моделей. (h) Слева: изображения AF-микроскопии, показывающие iNOS зеленым цветом и ядра красным цветом для контрольных случаев и случаев LPS. Масштабная линейка составляет 10 мкм. Справа: относительные оценки морфологических и спектральных параметров нанесены на оси x- и y- соответственно.Воспроизведено с разрешения. [26a] Copyright 2018, Национальная академия наук США.

Использование машинного обучения для декодирования изображений способствовало разработке портативных устройств и диагностики по месту оказания медицинской помощи. [59a, 59e, 65a, 71a] Feizi и др. . разработали безлинзовую встроенную микроскопию для распознавания жизнеспособности дрожжевых клеток и анализа их концентрации. [71a] Они использовали светодиодный источник (в сочетании с оптическим волокном и полосовым фильтром) и микросхему датчика изображения CMOS для захвата голографических теней образцов, как показано на левой панели .Голограммы использовались для восстановления изображений с обратным распространением с помощью SVM. Алгоритм SVM учитывал десять пространственных характеристик, включая максимальные и минимальные значения пикселей как на фазовых изображениях, так и на амплитудных изображениях. Рабочий процесс показан на правой панели . Вкратце, датчик зафиксировал голограмму, которая была преобразована в изображение. Особенности были извлечены из изображения в качестве входных данных. После операции автофокусировки определяли статус пятна. Обученный на вручную идентифицированных изображениях дрожжевых клеток, алгоритм может определять концентрацию и жизнеспособность дрожжевых клеток.показывает хорошую совместимость этого метода с образцами различных разведений. Установка была дополнительно интегрирована с графическим интерфейсом пользователя (GUI) для удобства работы. Эта платформа под названием AYAP (автоматическая платформа для анализа дрожжей) устраняет недостатки громоздких компонентов, присущих обычным проточным цитометрам, и представляет собой хороший пример сочетания машинного обучения и оптической визуализации для практических приложений.

Один из примеров сочетания машинного обучения с оптической спектроскопией и визуализацией для биологических приложений был продемонстрирован Pavillon et al . [26a] В своей работе спектроскопия комбинационного рассеяния, автофлуоресцентная (AF) визуализация и количественная фазовая микроскопия (QPM) были объединены для изучения активации макрофагов, индуцированной липополисахаридом (LPS) на клеточном уровне. Оптическая установка и рабочий процесс показаны на . Алгоритм PCA использовался для декодирования спектров комбинационного рассеяния, а автоматический классификатор клеток применялся для сегментации изображений QPM и AF. Были созданы отдельные статистические модели для прогнозирования активации макрофагов по морфологическим параметрам и спектрам комбинационного рассеяния соответственно.Эти модели дали вероятности активации для отдельных клеток, указав их состояние (). Результаты согласуются с измерениями фактора некроза опухоли-α (TNF-α), молекулы, которая в основном секретируется макрофагами. Точность отдельной модели составляла около 84–87%. АФ-изображения внутриклеточных уровней индуцируемой синтазы оксида азота (NO) (iNOS) также использовались для подтверждения прогноза с помощью ML (левая панель), поскольку известно, что она участвует в иммунном ответе, стимулируя выработку НЕТ.Что еще более важно, комбинация морфологической и спектральной моделей привела к еще лучшему различию, как показано более четким разделением на правой панели . Кроме того, исследователи также внедрили эту комбинированную модель в систему с LPS и прогестероном (ингибитором активации). Несмотря на возникшую сложность, модель все еще могла точно предсказать активацию макрофагов.

3.3. Информационные технологии

Применение машинного обучения в оптических информационных технологиях привлекло большое внимание в последние десятилетия. [73] Оптические технологии имеют потенциал для более высокой плотности информации и более высокой скорости обработки по сравнению с электронными технологиями. [74] Быстрое внедрение машинного обучения в оптические информационные технологии было обусловлено беспрецедентным ростом объема и сложности данных. [75] ML помогает извлекать значимую информацию из оптических данных, [27b, 76] помогает принимать решения [77] и преодолевать физические ограничения практических возможностей. [78] Мы рассмотрим декодирование оптических сигналов с помощью МО в оптических коммуникациях и декодирование оптических данных за пределами дифракционного предела света для хранения оптических данных с более высокой плотностью.

Орбитальный угловой момент (ОУМ) света можно контролировать с помощью пространственного модулятора света, [79] спиральной фазовой пластины, [80] или уникальных линз. [81] Луч OAM может передавать гетерогенный оптический сигнал, что увеличивает пропускную способность канала. Эффективное мультиплексирование и демультиплексирование лучей OAM перспективно для оптической связи следующего поколения. [82] Достер и др. . [27b] и Li и др. . [76] использовали алгоритм CNN для декодирования закодированной информации из одного шаблона интенсивности OAM с целью повышения эффективности и точности демодуляции без сложных оптических компонентов, как показано на рис. CNN был выбран из-за его преимущества в распознавании изображений. Выпрямленная линейная единица (черные квадраты в ) была применена для дальнейшего улучшения процесса обучения CNN путем введения дополнительных слоев в алгоритм.После обучения CNN будет производить вероятность для каждого входного изображения интенсивности как принадлежащего одному из выходных демодулированных режимов. Общий процесс коммуникации по результатам обучения отображается в . Изображения интенсивности OAM все еще можно было точно различить даже с искажениями окружающей среды. Такой метод демодуляции на основе CNN предлагает экономичный и мощный подход к оптической связи с высокой плотностью информации.

ML Декодирование оптических сигналов в оптической связи.

(a) Схема сортировки режимов OAM на основе CNN, где для демультиплексирования полученных оптических сигналов требуется одна камера вместо сложной системы SLM. (б) Подробная информация о CNN, использованной в (а). Слои 1–5 сверточные, а слои 6–8 полносвязные. Меньшие черные квадраты представляют рецептивное поле или сверточный фильтр. Воспроизведено с разрешения Ref. [27b] Copyright 2017, Оптическое общество. (c) Модель численной обработки системы связи со сдвиговой манипуляцией OAM (внизу) с использованием CNN, аналогичной модели (a, b), в качестве адаптивного демодулятора (вверху).Воспроизведено с разрешения Ref. [76] Copyright 2017, Институт инженеров по электротехнике и электронике. (d) Модель оценки перекрестных помех, основанная на NN и методе распространения луча (вверху), где слоты с центральной частотой f c и начальной частотой f 0 использовались в качестве защитных полос (внизу). (e) Оценка перекрестных помех с различными длинами волн, когда в качестве основного режима передачи использовался режим LP01. Значение пространственных перекрестных помех (XT) оценивалось как для случаев «[email protected] до [email protected]» (вверху), так и для «[email protected] до [email protected]» (внизу).Воспроизведено с разрешения Ref. [77a] Copyright 2018, Институт инженеров по электротехнике и электронике.

Другой тип приложений ML в оптической связи направлен на самооценку сетевого трафика и оптимизацию качества режимов распространения. Например, Яо и др. . изучал пространственные перекрестные помехи (XT) и эффекты связи мод в многосердцевинных волокнах с использованием подхода ML. Они предложили схему распределения ресурсов с учетом перекрестных помех для проектирования оптических сетей. [77a] Упрощенная модель волокна с двумя модами (т. е. LP01 и LP11, где LP означает моды линейной поляризации) в каждой сердцевине была введена в модель оценки перекрестных помех с помощью машинного обучения со стратегией, показанной на рис. NN был выбран для решения нелинейных отношений в данных. Целями прогнозирования были влияние различных длин волн и перекрестные помехи между двумя модами в характеристиках связи. иллюстрирует пример оценки производительности режима LP01 с помощью ML.Авторы также продемонстрировали оценку производительности по результатам различных моделей NN, проведя соответствующие симуляции, которые можно использовать и в других системах связи с помощью ML. Для справки читателей, анализ распространяющихся оптических мод с помощью ML также был сообщен в Ref. [83] , в то время как задача самооценки на основе ML в оптических сетях является новой темой с некоторыми первоначальными захватывающими демонстрациями. [77c, 84]

Стоит отметить, что оптическое волокно не только является важной оптической средой передачи информации, но и само по себе вызывает большой интерес исследователей в области декодирования оптических данных с помощью машинного обучения.Многомодовые оптические волокна обычно представляют собой сложную рассеивающую среду и генерируют спекл-структуры на выходе. Для визуализации [85] или классификации объектов [86] через такую ​​сложную среду DNN были обучены обеспечивать точное распознавание с замечательной устойчивостью к нестабильности окружающей среды. На основе этой платформы люди также продемонстрировали лазерные спекл-волновомеры с помощью ML, изображения гибридного рассеяния [87] , [85c, 88] и датчики спеклограмм. [89] Кроме того, мы обсудим экстремальные явления в оптических волокнах в разделе 3.4, где МО помогает исследователям изучать нелинейную волоконную оптику. [56a]

Хранение оптических данных — еще одна область оптических информационных технологий, в которой декодирование оптических данных с помощью машинного обучения играет важную роль. Оптические методы имеют преимущества долговечности и низкого энергопотребления при хранении данных. [90] Однако плотность хранения информации неизбежно ограничивается дифракционным пределом света.Инженерные решения по повышению плотности хранения оптических данных включают голографическую память [91] и оптическую запись в ближнем поле. [92] Wiecha и др. . сообщил о подходе машинного обучения, позволяющем вывести оптическую память за пределы дифракционного предела света. [78] Специально разработанные кремниевые наноструктуры демонстрируют сложные и уникальные спектральные характеристики на видимых частотах, что позволяет кодировать информацию в наноструктурах и извлекать ее с помощью оптических измерений в дальней зоне.иллюстрирует структуру, кодирующую 9 битов, где каждый блок/пустота размером 105×105 нм 2 представляет «1/0» и L-образную боковую стенку для различения симметричных структур. Общий размер этой структуры был меньше одной длины волны. Для декодирования спектров рассеяния от кремниевых наноструктур использовалась 1D CNN, за которой следовала полносвязная сеть (). Алгоритм CNN изучил взаимосвязь между поляризованными спектрами в качестве входных данных и последовательностью битов в качестве выходных данных. NN были выбраны из-за их силы в задачах классификации образов и спектров.После обучения сеть функционировала как считыватель, работающий по схеме, приведенной в , где выходные нейроны указывали закодированную битовую последовательность на основе их активации. Обучение проводилось на двух типах наборов данных, как показано на рис. Полные спектры рассеяния оказались эффективными для надежного считывания. Кроме того, приемлемая производительность может быть достигнута даже в том случае, если обучающие данные содержат информацию об интенсивности поляризованного рассеяния только для 3 зондируемых длин волн, что показало большой потенциал для быстрого считывания с помощью простого оптического прибора.Авторы сделали первоначальную демонстрацию считывания данных на основе цветов RGB с использованием модулированной NN только с полностью связанной частью (). Такой подход на основе изображений может значительно повысить эффективность как обучения машинному обучению, так и процесса считывания информации.

ML расшифровка спектров рассеяния от искусственных наноструктур для оптического хранения данных.

(a) Кремниевая наноструктура, кодирующая 9 бит с помощью девяти кремниевых блоков (блок: «1»; без блока: «0»). L-образная боковая стенка использовалась для различения симметричных расположений с помощью поляризованной оптической спектроскопии.(b) DNN для декодирования данных рассеяния (a). Сеть состоит из одномерной CNN, за которой следует полностью подключенная сеть для задач распознавания образов. (c) Схемы обучения и считывания и (d) соответствующая точность считывания при использовании полных спектров (слева) или интенсивностей рассеяния на нескольких зондируемых длинах волн (справа). В обоих случаях одновременно использовались X- и Y-поляризованные данные. (e) Полностью подключенная NN (справа) для считывания данных просто через значения цвета RGB (слева). X- и Y-поляризованные данные усреднялись в массиве 3×3.Воспроизведено с разрешения Ref. [78] . Copyright 2019, Издательская группа Nature.

3.4. Фундаментальные исследования в оптике

Декодирование смоделированных и экспериментальных данных с помощью машинного обучения может улучшить фундаментальные исследования в области оптики за счет категоризации оптических данных, выявления неявной информации и восстановления желаемого распределения поля. [27a, 56a, 93] Например, Барт и Беккер использовали МО для изучения электромагнитных мод в фотонном кристалле. [93a] Вкратце, распределения электрического поля вблизи массива гексагональных наноотверстий в кремниевой пластине были сгенерированы коммерческим электромагнитным решателем конечных элементов, чтобы служить входными данными для алгоритма ML. [94] При обучении использовались поля на трех выбранных плоскостях симметрии. Классифицируемые фотонные моды зависели от четырех переменных: поляризации падения (т. е. поперечной электрической (ТЕ) или поперечной магнитной (ТМ)), азимутального угла в плоскости, определяющего направление высокой симметрии (т. е. Г). -K или Γ-M для гексагональной решетки), длина волны света и угол падения. Репрезентативный пример показан для конфигурации поляризации Γ-K , TE, в которой первые две переменные фиксированы, но допускается изменение длины волны и угла падения.Была использована гибкая методика кластеризации GMM, неконтролируемый алгоритм. Этот алгоритм был выбран из-за его способности обрабатывать кластеры разных размеров и неизвестных форм кластеров. Результаты были дополнительно изучены путем проверки прототипов распределения модового поля () для мод с утечкой, где условия освещения были определены с использованием коэффициентов силуэта для классификации. [95] Фотонные моды были успешно идентифицированы по данным их трехмерного распределения полей.

Анализ данных с помощью машинного обучения для фундаментальных исследований в области оптики.

(a) Смоделированные электрические поля вблизи фотонного кристалла были классифицированы по различным фотонным модам с помощью GMM. Три строки показывают распределение энергии поля |E| 2 на трех плоскостях симметрии, которые были проиндексированы в восемь столбцов, составляющих восемь кластеров. (b) Виды сверху плотности энергии полного трехмерного электрического поля вытекающих мод с сильно локализованной энергией. Образцы были закодированы цветом с использованием тепловой карты.Воспроизведено с разрешения Ref. [93a] Copyright 2018, Nature Publishing Group. (c) Схема NN, используемая для корреляции спектральных и временных характеристик нестабильности модуляции (MI). Векторы спектральной интенсивности X n являются входными данными, а максимальная интенсивность в профиле интенсивности во временной области (т. е. пик, обведенный кружком) является выходным сигналом. Экстремальные события в MI оптического волокна были проанализированы с помощью этой NN. (d, e) Функция плотности вероятности (PDF) максимальной интенсивности временных профилей интенсивности, предсказанных ML на основе (d) данных моделирования и (e) экспериментальных данных.Смоделированная стандартная кривая строится для сравнения. Воспроизведено с разрешения Ref. [56a] Copyright 2018, Nature Publishing Group.

Нари и др. . продемонстрировал нейронную сеть (), которая позволила перенести обучение из смоделированных данных в экспериментальные для изучения экстремальных событий в нестабильности модуляции оптического волокна (MI). [56a] Несложно смоделировать как спектральные, так и временные свойства нестабильностей, вызывающих экстремальные явления в нелинейной оптике.Однако экспериментальные наблюдения часто ограничиваются спектральными данными. Чтобы восполнить пробел в данных при обучении машинному обучению, авторы использовали стохастическое численное моделирование обобщенной нелинейной модели Шредингера (NLSE) [96] для создания большого набора обучающих данных (как временных, так и спектральных), связанных с хаотическим полем ИМ. . Модель машинного обучения была обучена с использованием 20 000 смоделированных данных, и сравнение результатов машинного обучения и моделирования показано на рис. Было достигнуто хорошее согласие в функции плотности вероятности (PDF) вдоль максимальной интенсивности временных профилей интенсивности.Модель машинного обучения, обученная с помощью симуляции, была применена к экспериментальным данным, и результаты показаны на рис. Хорошее соответствие между этими двумя показателями указывает на способность этого подхода машинного обучения передавать новые «знания» в практические задачи. Он применим ко многим задачам распространения как в линейной, так и в нелинейной оптике.

3.5. Материаловедение и инженерия

В области материаловедения и инженерии декодирование оптических данных с помощью машинного обучения позволяет быстрее и точнее характеризовать или классифицировать свойства материалов.Алгоритмы машинного обучения, обученные на спектроскопических данных и данных изображений, применялись для исследования различных аспектов свойств материалов. Мы обсудим несколько примеров, которые охватывают различные размеры материалов, включая отдельные частицы, низкоразмерные материалы Ван-дер-Ваальса и объемные материалы.

Хусейн и др. . продемонстрировал оптический анализ размеров частиц с помощью ML. [97] Как показано на , экспериментальная установка была основана на безлинзовом датчике изображения CMOS в сочетании с угловым пространственным фильтром с малым коэффициентом.Отфильтрованный свет от стеклянных микрошариков размером от 13 до 125 мкм собирался на датчике CMOS, и полученное изображение использовалось в качестве данных обучения машинного обучения. Для обычного анализа данных при оптическом измерении размеров частиц существовало несколько проблем. Интенсивность собранного светового сигнала также была чувствительна к концентрации частиц, что мешало интенсивности сигнала, зависящей от размера. Как показано на рисунке, интенсивность света резко упала для частиц при более высоких концентрациях.Измерение более мелких частиц страдало даже от низкого SNR. Для преодоления этих проблем были предложены две разные радиочастотные модели. По сравнению с моделью A, модель B исключила концентрацию в качестве входного параметра, что привело к небольшому увеличению ошибки. Тем не менее, разумные результаты все же были достигнуты, как показано на рис. Этот оптический метод с использованием машинного обучения показал лучшее разрешение по размеру, чем динамическое рассеяние света (DLS) [98] , и на него не влияли полидисперсные образцы, что обеспечивает надежный, быстрый и экономичный анализ частиц.

ML декодирование оптических данных для классификации материалов и исследования свойств.

(a) Слева: экспериментальная установка для сверхкомпактного анализатора размера частиц с помощью машинного обучения. Справа: пример необработанного изображения, собранного в CMOS (вверху), и изображения углового пространственного фильтра (внизу). (b) График нормированной интенсивности сигнала в зависимости от концентрации частиц для различных диаметров стеклянных шариков. (c) На двух графиках (вверху: модель A, внизу: модель B) номинальные диаметры изображены линиями, а предсказанные значения D50 [116] — кружками.В модели A в качестве входных параметров использовались интенсивность отверстий фильтра, площади кругов и концентрация частиц. Модель B исключила концентрацию из списка параметров для упрощения процесса сбора данных. Воспроизведено с разрешения Ref. [97] Copyright 2020, CIOMP, Китайское оптическое общество и Springer Nature. (d) Слева: оптическое изображение и (вставка) изображение АСМ чешуйки MoS 2 . Справа: та же чешуйка с идентифицированным ландшафтом интенсивности цвета RGB.(e) Карта значений RGB для образцов MoS 2 с разным количеством слоев. Воспроизведение с разрешения Ref. [25b] Copyright 2018, Springer Science+Business Media. (е) Спектры поляризованной фотолюминесценции (ФЛ) монослоя WSe 2 при комнатной температуре (слева) и при 15 К (справа). α — пиковая интенсивность, β — пиковая энергия фотона, γ — полная ширина на полувысоте (FWHM), δ∙α — интенсивность спектра при ( β -30) мэВ .X, T и L обозначают особенности ФЛ, связанные с экситонным, трионным и локализованным состояниями соответственно. (g) Нанесены корреляции между факторами (т.е. α, β, γ и δ ) и поляризацией. (h) Прогнозируемая поляризация нанесена на график относительно экспериментальных значений, чтобы показать их корреляцию. Воспроизведено с разрешения Ref. [53c] Copyright 2019, Американское химическое общество. (i) Схематическое изображение различных возможных микроструктур в стали и распознавание образов с помощью машинного обучения.(j) Параллельное сравнение метода ручной сегментации и радиочастотного метода. Приведены различные фазы, т. е. феррит (F), перлит (P) и бейнит (B), и их соответствующие доли площади. Воспроизведено с разрешения Ref. [99] Copyright 2018, Nature Publishing Group.

Лин и др. . разработали метод оптической идентификации (МОИ) для интерпретации низкоразмерных материалов Ван-дер-Ваальса по их оптическим изображениям (). [25b] Метод MOI был основан на модели SVM, которая могла работать с небольшими наборами данных и небольшим количеством групп классификации.Он был обучен идентифицировать доступный состав RGB () собранных изображений и распознавать структуры и составы материалов. В процессе обучения информация о материале, полученная с помощью атомно-силовой микроскопии (АСМ) и спектроскопии комбинационного рассеяния, использовалась в качестве входных параметров для информирования алгоритма и соотнесения данных RGB с толщиной и характером образца. Реализованная на образцах MoS 2 и графена, модель достигла точности идентификации между пикселями 97% и 94% соответственно.Эта же модель использовалась для идентификации вертикального гетероперехода MoS 2 и графена с точностью 90%.

Материалы Ван-дер-Ваальса, такие как двумерные дихалькогениды переходных металлов (TMD), также демонстрируют интересную поляризацию экситонных долин при низких температурах, которую можно исследовать спектрально при возбуждении светом с круговой поляризацией. Как показано на рисунке, поляризация долины при температуре 300 К (левая панель) наблюдалась одинаковой как для возбуждения света с левой круговой поляризацией (LCP), так и с правой круговой поляризацией (RCP), тогда как в двух возбуждениях наблюдалась отчетливая разница. при температуре 15 К (правая панель).Танака и др. . применили радиочастотную модель для предсказания ландшафтов экситонных долин монослоя WSe 2 без низкотемпературных измерений. [53c] Модель была обучена на четырех факторах спектров долины при комнатной температуре, т. е. α, β, γ и δ, как показано на левой панели . Как показано на , ни одна переменная не может предоставить полную информацию для предсказания поляризации долины. Интересно, что алгоритм ML может обойти трудности в определении корреляций между этими факторами ().Ранжирование различных параметров в RF-алгоритме показало, что интенсивность ФЛ ( α ) и отношение трион-экситонных интенсивностей ( δ ) были наиболее важными факторами в предсказании. На самом деле это хорошо коррелирует с физическими параметрами в уравнении, описывающем поляризацию экситонной долины. В уравнении значение поляризации обратно пропорционально эффективному времени жизни ярких экситонов, которое масштабируется как α . Другим ключевым фактором является долинная скорость релаксации ярких экситонов.Это зависит от локальной плотности носителей, которую можно выразить как δ . Основываясь на этом, они смогли проверить предсказания карт поляризации образцов с соответствующими спектрами поляризации при комнатной температуре в качестве входных данных.

В качестве примера изучения сыпучих материалов с помощью машинного обучения Булгаревич и др. . продемонстрировал распознавание образов оптических микрофотографий сталей с помощью RF. [99] ВЧ-модель была обучена на сегментированных вручную оптических изображениях сталей, чтобы эффективно идентифицировать и автоматически сегментировать различные фазовые области в микроструктуре ().Каждому пикселю данных был присвоен определенный класс по вероятности, дающий тонкую сегментацию в сложных микроструктурах. Как показано на , сегментация на основе машинного обучения дала результаты, сопоставимые с сегментацией вручную, с минимальной разницей в меньших областях. Более того, модель делала более тонкие различия между ферритной (F) и бейнитной (B) областями, что было невозможно при ручной сегментации. Ожидается, что этот обобщенный метод будет работать и с электронными микрофотографиями. Этот подход не уступает человеческим экспертам с точки зрения качества, но при этом достаточно эффективен, чтобы способствовать промышленной производительности.

4. Выводы и перспективы

Декодирование оптических данных с помощью машинного обучения добилось быстрого прогресса, постоянно открывая интересные приложения. [100] Этот обзор позволяет заглянуть в эту междисциплинарную область путем обсуждения небольшой части примеров исследований. Несмотря на огромные достижения, достигнутые на сегодняшний день, существуют нерешенные проблемы и возможности как в научных исследованиях, так и в приложениях ML-декодирования оптических данных. Мы предусматриваем несколько интересных направлений исследований, которые показали многообещающие первоначальные результаты, но еще не обсуждались подробно.

Спектроскопия комбинационного рассеяния в сочетании с методами машинного обучения становится мощным инструментом клеточной биологии, позволяющим получить представление о сложных биологических явлениях, таких как деление клеток. Обладая улучшенными возможностями демодуляции больших объемов данных без ущерба для качества анализа, машинное обучение будет способствовать отслеживанию клеточных и субклеточных динамических процессов в режиме реального времени с помощью спектроскопии комбинационного рассеяния и визуализации для более подробного раскрытия механизмов работы. [101] Будущее Ожидается, что исследования in vivo потребуют высокоэффективной обработки и анализа данных, которые могут быть обеспечены алгоритмами машинного обучения. [102] Для дальнейшего повышения эффективности и надежности очень желательна автоматизация сбора и фильтрации данных для биологических исследований с большим набором выборок. [103]

В области материаловедения и инженерии ожидается дальнейшее развитие декодирования оптических изображений и спектров с помощью машинного обучения, которое, как ожидается, улучшит выбор оптимальных материалов для целевых приложений и облегчит многократные масштабные исследования свойств материалов. [104] Например, эллипсометрия — это оптический метод исследования диэлектрических свойств тонких пленок. [105] Однако измерение диэлектрических свойств коллоидных частиц [106] или материалов других типов структур с помощью эллипсометрии затруднительно. [107] Существующие теоретические методы, такие как теории эффективной среды, дают нам решение, но часто ограничиваются конкретными сценариями. [108] Таким образом, система ML-эллипсометра с вводом оптических спектров и выводом диэлектрических свойств для материалов произвольного типа была бы привлекательной.Кроме того, установление взаимосвязей между оптическими откликами данной наноструктуры в ближнем и дальнем поле также может выиграть от этого подхода к анализу данных на основе машинного обучения. [29, 109] Другие области, представляющие интерес, включают перевод следов микроробота в кинетический анализ сил, [110] и мониторинг в реальном времени для управления с обратной связью и автоматической работы устройств. [111]

По мере расширения машинного обучения в оптике одной из самых насущных потребностей являются большие высококачественные наборы данных для обучения алгоритмов.Чтобы еще больше укрепить декодирование с помощью ML, необходимо разработать более эффективные подходы, которые могут снизить требования к данным. Достижения в области компьютерного зрения могут вдохновить на поиск решений. Например, расширение данных — один из самых мощных инструментов, используемых в компьютерном зрении, который включает в себя ряд методов, таких как геометрические преобразования и смешивание изображений для увеличения размера существующего набора данных. [112] Синтетические данные, т. е. фальшивые данные, созданные полностью с помощью алгоритма для отражения реальных данных, [113] успешно использовались в приложениях компьютерного зрения. [114] Трансферное обучение — еще один многообещающий метод решения проблемы с набором данных, при котором модель, предварительно обученная для одного приложения, может быть перенастроена для другого аналогичного приложения с более коротким временем обучения и меньшим количеством обучающих данных. [56b] Общедоступные наборы высококачественных оптических данных и обученные модели также могут быть ценными инструментами для более широкого сообщества.

Концепция оптического декодирования данных также была интегрирована с ИНС на основе фотонных платформ. [115] Например, Mennel и др. . продемонстрировал датчик зрения AI. Они построили свою ИНС с реконфигурируемой матрицей 2D-полупроводниковых фотодиодов, которая была обучена классифицировать и кодировать изображения, проецируемые непосредственно на матрицу. Кроме того, ML также может применяться для решения прямой задачи в оптике. Например, Виеча и Маскенс предложили обучать ГНС как быстрых предсказателей оптических откликов плоских плазмонных и диэлектрических наноструктур. [27a] Обе работы показывают нам расширенные возможности в сочетании ИИ и оптики, когда разные концепции машинного обучения одновременно используются на нескольких этапах задачи оптики.

Хотя декодирование оптических данных с помощью машинного обучения дало отличные результаты, у него есть недостатки. Наличие скрытых переменных и давняя проблема «черного ящика» всегда присутствуют в процессе декодирования данных ML. Мы рады видеть, что первые попытки в оптике и фотонике были предприняты с появлением объяснимых алгоритмов машинного обучения, ориентированных на такие проблемы. [52, 53b] Кроме того, ML подвержен переоснащению и распознаванию неверных признаков в наборах данных. [24] Таким образом, рекомендуется тщательно анализировать решаемые задачи, учитывать физические ограничения и применять методы машинного обучения с адекватным пониманием алгоритмов для получения желаемых результатов.Мы надеемся, что этот обзор поможет преодолеть разрыв в знаниях между сообществами ИИ и оптики. По мере того, как исследователи из обоих сообществ лучше понимают другую область, мы ожидаем более значительных достижений в этой захватывающей области, объединяющей машинное обучение и оптику.

Как читать схему вязания

Начало работы | Инструкции

Звездочки, скобки и квадратные скобки | Вязание одежды

После того, как вы изучите основы вязания – как набирать и закрывать петли, как вязать лицевые и изнаночные петли – вы будете готовы начать свой первый узор.(Если вам нужна помощь в изучении основ, посетите сайт www.LearnToKnit.com.) Поначалу просмотр схемы вязания может сбивать с толку — она написана на иностранном языке?

Нет, но это особый язык вязания, в котором используется множество сокращений и терминов, которые экономят место и облегчают чтение выкройки. Итак, первое, что вам нужно сделать, это ознакомиться с аббревиатурами вязания.

Некоторые из них легко понять, например:

Сокращения основных строчек

Л или Л = лицевая
П или П = изнаночная

Полный список аббревиатур и терминов по вязанию и их значение можно найти на сайте: www.YarnStandards.com.

Термины обозначают то, что вы должны делать, например:
CO = литой

(Так начинается каждое вязаное изделие.)

BO = Закрыть

(Так завершается большинство вязаных изделий. Обвязку иногда называют завязкой. Они означают одно и то же.)

Inc = Увеличение

(Добавить один или несколько стежков.Самая основная прибавка — работать спереди, а затем снова сзади той же петлей. Это можно сделать как лицевыми, так и изнаночными петлями.)

Дек = уменьшение

(Убрать одну или несколько петель. Самый простой способ убавления — связать две петли вместе как одну. Это можно сделать как лицевыми, так и изнаночными петлями. Различные способы прибавления и убавления меняют внешний вид проекта, и большинство дизайнеров имеется в виду конкретный метод.Так что обычно ваш шаблон подскажет вам, как это сделать.)

Повтор = повтор

(Проделайте то же самое количество раз, указанное в шаблоне.)

Sl = проскальзывание

(Перекинуть петлю или стежки с одной спицы на другую, не работая.)

YO = накид

(Возьмите нить на иглу.)

Вместе = вместе

(Провяжите 2 или более ст вместе, образуя убавку.)

Рабочий даже

Продолжайте то, что вы делали, без каких-либо прибавлений или убавок.

Сохранение установленного шаблона

Обычно используется, когда вы работаете узорной строчкой и увеличиваете (или уменьшаете) края. Это означает, что вы сохраняете центральную часть узора в том виде, в каком вы его уже настроили, и будете добавлять (или убирать) петли с каждого конца, не нарушая узора.Когда будет добавлено достаточно новых стежков, их следует включить в рисунок.

Полный список сокращений, используемых в вязании, можно найти на сайте www.YarnStandards.com.

Начало работы

Имея под рукой сокращения и термины, давайте рассмотрим типичную схему вязания. Вязаные изделия можно вязать рядами вперед и назад, чтобы получилась плоская деталь, или по кругу, чтобы сформировать трубку без швов, например, носки или шапки.Для работы по кругу используются специальные иглы.

Начнем с работы с плоской детали.

Сначала в инструкции будет указано набрать определенное количество петель. Но подождите — прежде чем вы сможете начать завязывать, вы должны завязать скользящий узел на одной из спиц. Шаблоны никогда не говорят вам это делать — они просто предполагают, что вы это знаете. Вот как вы делаете скользящий узел (см. рисунки 1 и 2).

Существует много способов наложения. Некоторые дают хороший эластичный край; другие дают твердую основу.Если шаблон не говорит вам об обратном, используйте метод, которому вас научили в первый раз.

Теперь давайте посмотрим на типичный шаблон.

Вернуться к началу

Инструкции

СО 12 ст.

Это означает, что сначала вы сделаете скользящий узел на одной спице, а затем наберете еще 11 петель на ту же спицу. В вязании скользящий узел всегда считается стежком. Если вы вяжете крючком, обязательно помните об этом, так как в вязании крючком скользящий узел никогда не считается стежком.

Ряд 1 (ЛС): лиц.
ряд ​​2 (ИС): изн.

Это означает, что в 1-м ряду, который является лицевой стороной изделия (ЛС), вы провяжете все 12 петель на спице. Затем во 2-м ряду изнаночная сторона детали будет изнаночной.

Шаблон теперь может говорить:

Повторять ряды 1 и 2, пока высота изделия не составит 4 дюйма от начала, закончить изнаночным рядом.

Это означает, что вы будете последовательно повторять ряд 1 (лицевой) и ряд 2 (изнаночный) до тех пор, пока длина детали не составит 4 дюйма от набранного ряда.Для измерения положите изделие на плоскую поверхность и не растягивайте его. Приложите конец линейки или рулетки к игле и измерьте до первого набора петель. Если ваша работа не измеряет то, что указано, просто продолжайте повторять ряды. Так как в схеме сказано заканчиваться изнаночным рядом, это означает, что последний ряд, который вы провязываете, должен быть изнаночным (ИС).

Когда вы повторяете лицевой ряд, а затем изнаночный ряд в течение нескольких рядов, вы создаете узор, называемый лицевой гладью.Это сокращенно St St. Вы увидите, что у лицевой глади есть определенные лицевые и изнаночные стороны. Обычно лицевая сторона – это лицевая сторона, но иногда для лицевой стороны используется изнаночная сторона. Когда это делается, это называется обратным св.

Когда в схеме указано вязать лицевой гладью, это означает чередование лицевого и изнаночного рядов.

Теперь попробуем другой образец строчки.

СО 12 ст.

Р. 1: лиц.

Повторять ряд 1, пока высота изделия не составит 4 дюйма от начала.

Вы создали так называемую платочную вязку, состоящую из провязывания каждого ряда на плоской детали. Это обратимый паттерн, так как разница между правой и изнаночной сторонами очень мала.

Когда в схеме указано вязать платочной вязкой, это означает вязать каждый ряд лицевыми.

Вернуться к началу

Звездочки, круглые скобки и квадратные скобки

Теперь нам нужно остановиться и взглянуть на символы, которые используются в схемах вязания. Они также используются для экономии места и облегчения чтения шаблона.Поначалу они могут сбивать с толку, но вскоре вы научитесь им следовать. Схемы вязания могут иметь ряд шагов, которые повторяются несколько раз в ряду. Вместо того, чтобы записывать эти шаги раз за разом, звездочки (*) используются для обозначения повторов.

Вы найдете звездочки, используемые во многих различных узорах, таких как резинка. Ребристая резинка часто используется внизу и на манжетах свитера для обеспечения гибкости. Вот типичный рисунок резинки.

СО 18 ст.

Ряд 1: *2лиц, 2изн; повторять от * поперек, закончить 2 лиц.

Это означает, что первые две петли вы провяжете лицевыми, а следующие две изнаночными; затем провяжите 2 лицевые, затем снова 2 изнаночные и повторите шаги, следующие за звездочкой, по всему ряду до последних двух петель, которые вы будете вязать.

Ряд 2: *2 изн, 2 лиц; повторять от * поперек, закончить 2 изн.

Обратите внимание, что петли, провязанные в предыдущем ряду, вы будете провязывать изнаночными, а петли, провязанные изнаночными в предыдущем ряду, провязывать лицевыми.Много раз в схемах будет сказано: лицевые петли лицевые, а изнаночные петли.

Вы будете создавать резинку, последовательно повторяя эти два ряда.

Скобки [ ] также используются для заключения группы стежков, которые должны повторяться определенное количество раз. Число, следующее за скобками, говорит вам, сколько раз нужно выполнить шаг. Например, [Накид, 2 вместе лиц] 6 раз означает, что вы сделаете накид, затем провяжете 2 петли вместе, затем повторите это еще 5 раз, всего 6 накидов и 6 лиц 2 вместе.

Круглые скобки иногда используются таким же образом.

Круглые скобки используются для обозначения группы петель, которые должны быть объединены в одну петлю, например: «(1 лиц, 1 изн, 1 лиц) в следующей петле». Это означает, что вы провяжете все эти стежки одним стежком, что сделает попкорн ст.

Вернуться к началу

Вязание одежды

Когда вы вяжете свою первую одежду, вы можете столкнуться с некоторыми терминами, которые вас смутят. Вот что они означают.

Условия

Передний левый
(или левый рукав):

Изделие, которое будет носиться на левой передней части тела и левой руке.

Правая передняя часть
(или правый рукав):

Изделие, которое будет носиться на правой передней части и правой руке вашего тела.

Одновременно:

Используется, когда вас просят выполнить два разных шага (например, придание формы пройме и горловине) одновременно.

Вяжите так же, как левую (или правую) деталь, формируя в обратном порядке:

Это может быть сложно для новичка.Допустим, вы сделали серию убавок на левом плече. Вместо того, чтобы точно сказать вам, как сделать это для правого плеча, в целях экономии места выкройка может просто сказать вам: Работайте так же, как левое плечо, формируя в обратном порядке. Это означает, что вы должны выяснить, что делать! Будет легче, если вы возьмете ручку и бумагу и набросаете то, что вы сделали в первый раз; затем сделайте это в обратном порядке для другой части. Например, убавки пройм левой полочки выполняются в начале правых боковых рядов.Чтобы перевернуть правую полочку, провяжите убавки в конце правых боковых рядов.

Особая благодарность

Благодарим Джин Лейнхаузер, одного из ведущих дизайнеров/редакторов в отрасли и автора бестселлеров, неустанно работавшего над популяризацией ремесел вязания спицами и крючком, за подготовку этого полезного плана «Как читать схему вязания».

Отдельное спасибо Leisure Arts за разрешение на воспроизведение диаграмм, использованных в этой статье.Схемы взяты из Learn to Crochet the Easy Way от Jean Leinhauser.

Вернуться к началу

%PDF-1.4 % 8410 0 объект > эндообъект внешняя ссылка 8410 78 0000000016 00000 н 0000003316 00000 н 0000003516 00000 н 0000003545 00000 н 0000003595 00000 н 0000003633 00000 н 0000003835 00000 н 0000004142 00000 н 0000004899 00000 н 0000005703 00000 н 0000005781 00000 н 0000005885 00000 н 0000006267 00000 н 0000011071 00000 н 0000011592 00000 н 0000011971 00000 н 0000012509 00000 н 0000018624 00000 н 0000019273 00000 н 0000019681 00000 н 0000019784 00000 н 0000030223 00000 н 0000040241 00000 н 0000050462 00000 н 0000050533 00000 н 0000061331 00000 н 0000073070 00000 н 0000083420 00000 н 0000093673 00000 н 0000187867 00000 н 0000198690 00000 н 0000199517 00000 н 0000200532 00000 н 0000201060 00000 н 0000201177 00000 н 0000201734 00000 н 0000201884 00000 н 0000219366 00000 н 0000219407 00000 н 0000219937 00000 н 0000220055 00000 н 0000220619 00000 н 0000220775 00000 н 0000265654 00000 н 0000265695 00000 н 0000266223 00000 н 0000266340 00000 н 0000385453 00000 н 0000385514 00000 н 0000385688 00000 н 0000385894 00000 н 0000386024 00000 н 0000386146 00000 н 0000386292 00000 н 0000386424 00000 н 0000386558 00000 н 0000386732 00000 н 0000386838 00000 н 0000386984 00000 н 0000387142 00000 н 0000387272 00000 н 0000387396 00000 н 0000387554 00000 н 0000387734 00000 н 0000387896 00000 н 0000388058 00000 н 0000388234 00000 н 0000388414 00000 н 0000388598 00000 н 0000388740 00000 н 0000388872 00000 н 0000389062 00000 н 0000389244 00000 н 0000389444 00000 н 0000389608 00000 н 0000389836 00000 н 0000389972 00000 н 0000001856 00000 н трейлер ]/предыдущая 6562506>> startxref 0 %%EOF 8487 0 объект >поток h ΖoLgr `)t]U?Ŗ?`kWE(ժT` “*zhQuMdns%[VlYf*30C3d[?,s[Ͳ۷Ƕ/K}y

.

Добавить комментарий

Ваш адрес email не будет опубликован.