tokens

Аргументы

str

символьная строка. Строка в которой ищутся лексемы.

delimiter

(необязательный) символ или вектор символов. Разделители лексем.

T

вектор-столбец найденных лексем.

Описание

T = tokens(str [,delimiter]) ищет лексемы, содержащиеся в строке str. Значение разделителя delimiter по умолчанию [" ",<Tab>], где <Tab> стоит вместо ascii(9).

Примеры

tokens('Это символьная строка.')
tokens('SCI/demos/scicos','/')
tokens('y=a+b*2',['=','+','*'])

Смотрите также

• strindex — поиск положения символьной строки в другой строке
• tokenpos — возвращает положение лексем в символьной строке