Сестра избивает своего ребенка

Ольга, к сожалению, вмешиваться в жизнь сестры, указывая ей на ее ошибки, может только еще больше ее обозлить, что еще больше скажется на детях.
Мало информации в вашем письме, но могу предположить, что отношения между Вами и сестрой не очень доверительные, возможно с детства, потому, что ваша позиция скорее критичная, чем помогающая. Возможно, так сложилась жизнь, что была какая-то конкуренция между вами, что и сформировало те отношения, которые есть сейчас. Думаю, именно поэтому Вы видите в ней скорее объект для критики, чем объект для помощи. Вы стремитесь «показать» ей, что она должна меняться, но, по-моему, пока не готовы помочь ей, изменив свое к ней отношение.
У сестры заниженная самооценка – Вы можете поднимать ей самооценку, а не задвигать ее еще ниже. Но для этого важно перестать рассматривать как под микроскопом все ее недостатки, а попробовать увидеть ее хорошие стороны, и показать ей самой эти стороны.
Сестра устает в такой обстановке – можно ей помочь, освободив ей немного свободного времени, которое она смогла бы потратить по своему усмотрению, а Вы можете посидеть с ее детьми.
Можно проводить время с племянницами, даря им ту любовь, которой им не хватает в семье, но не противопоставляя себя их маме, а «просто так», так сказать «бонус от тети» - в любом случае, если эмоциональный резервуар детей пополнится положительными чувствами, то это только плюс.
Муж сестры недоволен совместным проживанием с тещей (а возможно, и сама сестра тоже не хочет жить с мамой) – продумать варианты, когда мама могла бы какое-то время жить с Вами, или бывать в санатории, или совместными усилиями снять ей отдельное жилье.
Вашей сестре в целом не хватает принятия, ее все критикуют, откуда же взяться внутреннему спокойствию? Это как с почтальоном Печкиным - «это я раньше злой был, когда у меня велосипеда не было…» - ничего нового.

Если ситуация с побоями и вообще с заботой о детях настолько критическая, что дети постоянно подвергаются насилию, то вы можете обратиться с социальную службу по месту жительства сестры. Это можно сделать даже анонимно.
Только тогда вы в роли "Иуды" окажетесь, вы "сдадите" свою сестру.
Я не считаю, что близким можно прощать все и покрывать все, и иногда действительно другого пути не остается, кроме как привлечь государственные органы. Весь вопрос готовы ли вы к такой моральной ответственности.
Ну и еще вопрос, все ли так, как вы описываете, или же краски сильно сгущены вашим личным отношением к сестре? Если все же дети это такой ваш способ "отомстить" сестре, то вам нужно на личную терапию, проработать отношения между вами, потому что не честно втягивать двух девчонок 5 и 6 лет в отношения двух взрослых теток.