Добрый день,

начну со знакомства. Я по профессии программист, и мое хобби биоинформатика. О вашем проекте недавно узнал на хабрахабре, после публикации одного обзора (ссылки дать не могу) . Точнее ваше ПО у меня валялось давно, но теперь я узнал, что вы русскоязычная команда, разрабатывающая открытый проект и готовы к сотрудничеству. Поэтому в принципе я готов читать исходный код и помогать в выполнении того о чем тут договоримся. Но я программирую только под Windows, и предпочитаю C#, но могу программировать и на С++ в Visual Studio. (я поговорил с Иваном Новиковым, который с вами работал, и он мне пояснил, что возможно с вами договорится о сотрудничестве)

О моих проектах по биоинформатике можете посмотреть тут - (ссылку дать запрещают)

Теперь с формальной стороной закончим и перейдем к сути дела.

У меня есть целый ряд идей, но лучше начать с чего-то простого, но более конкретного. Вот у вас есть такой плагин Repeat Finder - на мой взгляд он сделан плохо, и я его не смог бы использовать скажем для моего эксперимента, который описан тут (опять ссылка )
Хотя это как раз то самое, что нужно для этого эксперимента - найти в геноме все одинаковые строки (подпоследовательности) скажем более 50 символов.

Ровно такой же код с использование суффиксного дерева (наврал) массива я и использовал у себя. Но там есть тоже некоторые проблемки.

Поэтому я с одной стороны, хотел бы понять как работает это у вас - расскажите где исходники для этого плагина, какой класс:метод смотреть?
С другой, хотел бы понять заинтересованны ли вы в его улучшении? Так лишь к примеру - я так и не смог получить список всех повторяющихся последовательностей, хотя совершенно вторичную информацию, где находятся эти последовательности получил. (это лишь пример, если же делать по уму - я раскритикую это более сильно и с деталями. Но критика это поймите - доброжелательная, я был бы тут даже заинтересован помочь сделать/улучшить с кем то в паре к примеру).

Попробую добавить ссылку с описанием некоторых моих проектов

biogenom.eu (вроде получилось )

"Причина, по которой мы используем регионы может быть следующей. Из позиций повторяющихся последовательностей мы легко можем получить сами последовательности. Наоборот уже сложнее."

Это то понятно. И одно другому не мешает. Но на сколько я понял - поправьте если я не прав - списка повторяющих последовательностей я не могу получить так?

Вы достаточно много потратили на визуализацию того, где эти повторы есть, а результата то и нет Поясню. Рассматривать где эти повторы есть для генома - вряд ли кто-то будет. Часто (за исключением вырожденных, скорее даже тренировочных задач) геном большой, даже для бактерии это 1-6 миллионов символов, и множество повторов. Для чего их ищут (ответьте вы, наверное есть подзадачи которые вы имели введу, когда это реализовывали, а я пока сужу со своей точки зрения) ? Мне же они нужны сразу целиком. И думаю для многих тоже нужно также, а по одной-две никто не будет рассматривать. Поэтому самое простое, что нужно - это записать все найденные повторные последовательности - ну например просто в формате .fasta, и конечно вторичной информацией могут быть то где эти последовательности найдены (скажем как комментарий к найденной последовательности в фасте).

Отсюда вопрос:
1. Возможно ли вообще мне получить этот список на данный момент (т.е. может я просто не понимаю как? тогда расскажите последовательность действий)
2. Для дружественного интерфейса - это не должно выглядеть как многостадийная обработка - это самое элементарное - ищу повторяющиеся последовательности - задаю параметры - получаю собственно то что ищу.

Теперь о подводных камнях. По сути визуально вы рисуете сам тот суффиксный массив. Но если там только суффиксный массив - то этого мало. Я могу ошибаться, но я опишу одну тонкость - и вы скажите решена ли она у вас и как.
Часто нужны непересекающиеся повторы. Т.е. если есть последовательность banana, и скажем интересует длина 2 и более, то что вы дадите:
ana будет считаться повтором?
какую последовательность вы выберите na или an ?


Да, Иван Новиков рассказал как это собирать и далее отправил к вам Пошел посмотрю ваш код, позже отпишусь.

Сергей,

я не без интереса посмотрел ваш сайт. Мне очень понравилось насколько полно там описаны ваши работы. В стиле "Сейчас мы вам кратко объясним что такое филогинетические деревья. А теперь перейдем к нашим разработкам". Я еще не все прочитал, но я уже успел посочувствовать РНК в ее мучительном фолдинге

По поводу наших алгоритмов.
Из аннотаций можно получить последовательности повторов. Нужно выбрать нужные аннотации или сразу всю группу в редакторе аннотаций под Sequence View и через контекстное меню экспортировать последовательности под аннотациями в файл.

В последовательности banan (или GATATA) мы найдем только непересекающиеся повторы и все повторы. То есть результатом будет и an и na, а пользователь уже пусть сам решит, какой его больше инетресует.


По поводу кода.
Да, в коде UGENE есть сложные моменты, но поиск повторов далеко не самый сложный участок, он просто требует какого-то времени для понимания.

1. Все равно алгоритмические участки выделены в отдельные модули и там работа идет с обычными типами дпнных в основном. И да, запускается  RFSArrayWAlgorithm::calculate(RFSArrayWSubtask* t).

2. RFSArrayWSubtask. У нас каждая задача запускается в отдельном потоке и RFSArrayWSubtask это подкласс-задача, которая запускает алгоритм поиска.

3.  CheckEdge. Мы создали эти классы, потому что последовательность бьется на подпоследовательности при поиске для параллельного запуска, а на стыках возникали проблемы.

4. ДНК последовательность хранится в базе (U2Sequence). Но ее можно достать впамять (DNASequence). Потом получить последовательность, как массив символов, которые так и передаются алгоритму через параметры.

5. Код поиска повторов и код визуализиации 3D структур - наши разработки. Мы заимствуем код некоторых других алгоритмов, но оставляем ссылку на автора. Потому что лицензия позволяет

6. Все, что видно извне (документации, код, баг-трекер, форум) должно быть на английском. К скобкам не придираемся. Лично мне нравится Java-style.

Сергей,

код исключения вложенных повторов лежит тут ugene\src\plugins\repeat_finder\src\FindRepeatsTask::filterNestedRepeats. Посмотрите, пожалуйста.

Повтор, который вы скопировали пересекается на AGTG. Вообще это корректно -  считать пересекающиеся повторы повторами?

А то, что схема не работает - это плохо... Проверьте, пожалуйста, параметры элемента Find Repeats. Если они совпадают с теми, что вы выставляете, когда используете диалог, но результаты разные, то это баг. Тогда вышлите исходные данные?

В любом случае, если у вас будет время/желание улучшить наш алгоритм  поиска повторов или какую-нибудь другую часть UGENE - пожалуйста. Мы включим ваш патч в ближайший релиз, а они у нас выходят часто. Даже если у вас появятся какие-нибудь идеи по улучшению - смело нам пишите!

А вы запускаете схему, которую я вложил в пост выше? Или вы просто собрали схему (Прочить последовательность)->(Найти повторы)->(Записать последовательность).

Я только что собрал второй вариант и проверил (вложено). Нашлось столько же повторов, сколько и в Sequence View - 6 пар. Проверьте, может у вас формат выходного файла стоит fasta. А нужно поставить тот, который поддерживает аннотации (genbank). Я добавлю issue, чтобы выводился warning, если пользователь пытается записать аннотации в формет, который их не поддерживает.

Я запустил вложенную схему. Сначала думал, что русские трансляции с ума сходят, но оказалось нет. Я запустил ее и у меня получился файл с аннотациями. Там 6 повторов, последние два из тех 8ми, что у вас находит не нашлись, потому что максимальное расстояние у них больше, чем в схеме указано. Последовательности там нету, потому что для этого нужно выбрать элемент Write Sequence. А у вас вобще никакого резлультат эта схема не выдает? Даже файл не создается?

Я убрал фильтр по максимальному расстояние в ручном режиме и у меня такой же результат как у вас получился.

50% homology это баг(https://ugene.unipro.ru/tracker/browse/UGENE-1474). Это процент гомологии между повторами. Мы допускаем какой-то процент замен, но в этом случае он неправильно показывается.

Я правильно понимаю, что вы хотите сделать фильтр, который в последовательности banana оставит только na или an? Или вы хотите модифицировать так, чтобы ana считалось повтором?

Что касается фильтра. Там я предполагаю сделать следующие

http://biogenom.eu/?p=383

Т.е. исключить такие повторы, которые содержатся внутри других найденных повторов. Т.е. получим список уникальных повторов без частичного вхождения одной в другую.

Т.е. в примере banana, будет найдена только ana, а na и an будет отфильтровано.

А в примере в геноме NC_000117 не будет последовательностей длиной 101 и 150 символов, а будет только на 154. Т.к. эти 4 последовательности на 101, 150 символов, так или иначе содержатся в последовательности 154.

Yuriy Vaskin wrote on Mar 1^st, 2013 at 2:32pm:


Т.е. Вы согласны встроить такой фильтр в UGENE?

Еще я не писал серьезные диалоговые окна на C++, и смотрю вы использует тут файлы .ui . Чем Вы их редактируете? Есть какой нибудь визуальный редактор под windows ?  
Разобрался вопрос снят.