Основы стандартизации и сертификации программных продуктов Лекция 1

Презентация к лекции

rkpdf


Роль стандартизации в управлении качеством

Стандартизация является одним из основных принципов современного управления качеством. Несмотря на то, что в настоящее время уже разработано и действует очень большое количество стандартов различной направленности, в условиях совершенствования хозяйственных связей и рыночных отношений стандартизация приобретает все большее значение. Не только экспорт продукции, но и ее внутренний сбыт во многом зависит от уровня стандартизации изделий. Товаропроизводители, стремясь к обеспечению высокой конкурентоспособности продукции, используют в своей деятельности стандарты (в том числе не только российские, но также межгосударственные и международных организаций), что в немалой степени способствует повышению качества продукции. Значение стандартизации трудно переоценить.

 

По определению Международной организации по стандартизации (International Organization for Standardization, ISO)

стандартизация- «процесс установления и применения правил с целью упорядочения в данной области на пользу и при участии всех заинтересованных сторон, в частности, для достижения всеобщей максимальной экономии соблюдением функциональных условий и требований безопасности».

В процессе стандартизации вырабатываются нормы, правила, требования, характеристики, касающиеся объекта стандартизации, которые оформляются в виде нормативного документа.

  • повышение уровня безопасности объектов с учетом риска возникновения чрезвычайных ситуаций природного и техногенного характера;
  • обеспечение научно-технического прогресса;
  • повышение конкурентоспособности продукции, работ и услуг;
  • рациональное использование ресурсов;
  • техническая и информационная совместимость;
  • сопоставимость результатов исследований (испытаний) и измерений, технических и экономико-статистических данных;
  • взаимозаменяемость продукции.

Стандартизация выполняет следующие задачи

  • упорядочивание объектов (продукции, работ, услуг, процессов), создаваемых людьми в разных странах;
  • закрепление в нормативных документах оптимальных требований к упорядоченным объектам;
  • установление правил применения нормативных документов.

Поскольку сертификация устанавливает соответствие действующему стандарту, без наличия стандартов невозможна и сертификация.

Федеральный закон от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании» определяет следующие цели стандартизации:

  • повышение уровня безопасности жизни и здоровья граждан, имущества физических и юридических лиц, государственного или муниципального имущества, экологической безопасности, безопасности жизни и здоровья животных и растений и содействия соблюдению требований технических регламентов;

Стандартизация имеет следующие функции:

  • экономическая - выражается через вклад стандартизации в научно-технический прогресс, поскольку она оказывает активное влияние на все составляющие производственного процесса, способствует совершенствованию предметов и средств труда, технологии и самого труда. Нормативные документы позволяют предупредить не всегда оправданное разнообразие деталей, изделий, материалов, технологических процессов, установить их рациональную номенклатуру, определить оптимальные параметрические и размерные ряды, обеспечить высокий уровень взаимозаменяемости, установить оптимальные качественные характеристики;
  • информационная- проявляется через создание нормативных документов, классификаторов и каталогов продукции, эталонных мери т.п. Следует отметить, что классификационная составляющая в существующем многообразии товаров и их компонентов имеет исключительно важную роль, это объясняется возможностью эффективного различения близких по характеристикам элементов классификации, что без подобных документов просто невозможно безошибочно осуществить;
  • социальная- проявляется через включение в нормативные документы и достижение в производстве таких показателей качества продукции и услуг, которые содействовали бы здравоохранению, отвечали бы санитарно-гигиеническим нормам и возможности экологической утилизации отходов. Особенностью этой функции является возрастание именно этого аспекта стандартизации в связи с общей тенденцией повышения внимания к качеству товаров и услуг, предлагаемых на рынке, причем доминирующую роль начинает занимать именно экологические проблемы, а также вопросы соответствия санитарным нормам и охраны здоровья;
  • коммуникативная-выражается через достижение взаимопонимания в обществе путем обмена информацией. Этому служат стандартизованные термины, трактовки понятий, символы, единые правила оформления деловой, конструкторской и технологической документации. Такая своеобразная унификация понятийного аппарата позволяет устранить разночтение общепринятых и специальных терминов, выработать одинаковые требования к оформлению различных материалов, обеспечить взаимное понимание специалистов, работающих в различных организациях, при обсуждении общих вопросов.

Международная стандартизация, расширяя границы отдельных государств, создает предпосылки для развития и повышения уровня многих направлений сотрудничества:

 • обеспечивает взаимозаменяемость элементов сложной продукции- сегодня очень многие товары являются результатом взаимодействия производств, расположенных в различных странах;

  • сближает уровень качества товаров, производимых в разных странах-стремление создавать конкурентоспособную продукцию заставляет компании-производители внимательно относиться к требованиям стандартов;

 • содействует взаимообмену научно-технической информацией -стандартизация развивает такого рода обмен, что необходимо и для повышения качества производства продукции;

  • содействует международной торговле- если продукция выпускается на основе согласованных требований, то ее экспорт осуществляется намного легче. Далеко не редки случаи запрета некоторых товаров к ввозу в разные страны ввиду несоответствия действующим стандартам;
  • ускоряет научно-технический прогресс участников международных организаций - стандартизация постоянно заставляет участников рынка двигаться вперед, и каждый участник таких организаций старается не отставать от других.

 

 К основополагающим принципам международной стандартизации относятся

 

  • комплексность стандартизации - заключается в систематизации и оптимальной увязке комплекса факторов, обеспечивающих требуемый уровень качества продукции, в процессе установления и применения нормативной документации;
  • опережающее развитие стандартизации- совершенствование процесса стандартизации с учетом изменения во времени показателей качества объектов стандартизации. Опережение достигается благодаря установлению к объектам стандартизации норм и требований, повышенных по отношению к уже достигнутому на практике уровню. При этом ожидаемые нормы и требования формируются в соответствии с прогнозами, предсказывающими оптимальный уровень в последующее время. С момента утверждения опережающего стандарта у потребителей появляются юридические права на использование продукции при проектировании новых разработок, а производитель обязан начать выпускпродукции с параметрами, установленными в утвержденном опережающем стандарте;
  • классификация- заключается в выделении у объекта стандартизации классификационных признаков и их ранжировании по значимости для определения объекта.

Существуют следующие разновидности стандартизации:

  • фактическая стандартизация- отражает некоторые исторически сложившиеся особенности и правила жизни общества (календарь, письменность, счет и т. д.). При этом фактическая стандартизация лишь закрепляет установившиеся нормы, характеризуя их в нормативных документах;
  • официальная стандартизация- является результатом целенаправленной деятельности и всегда завершается выпуском нормативной документации, составляемой по установленной форме, имеющей определенную сферу и конкретные сроки действия. Официальная стандартизация призвана отразить в нормативных документах новые (или уже действующие до определенного времени) уровни требований к качеству объектов стандартизации. В большинстве случаев стандарты разрабатываются специалистами определенной сферы деятельности, не только глубоко знающими предметную область, но и владеющими необходимыми знаниями ожидаемых перспектив и особенностей ее развития.

В области международной стандартизации работает большое число организаций, среди которых наиболее представительной является Международная организация по стандартизации (International Organization for Standardization, или сокращенно -ISO, в русской транскрипции - ИСО). Она была создана решением Комитета по координации стандартов ООН в 1946 г., официальную деятельность начала с февраля 1947 г. после ратификации ее создания 33 странами. ИСО является неправительственной организацией и пользуется консультативным статусом ООН. Основной целью деятельности этой организации, декларируемой Уставом ИСО, определено «содействие стандартизации в мировом масштабе».

В Европе наиболее представительным органом международной стандартизации является Европейский комитет стандартизации широкого спектра товаров, услуг и технологий CEN (The European Committee for Standardization). Кроме того, существуют европейские организации, занимающиеся вопросами стандартизации в различных предметных областях. К таким организациям относятся, например, CENELEC (The European Committeefor Electrotechnica lStandardization)- Европейский комитет стандартизации решений в электротехнике и ETSI (European Telecommunications Standards Institute) - Европейский институт стандартизации в области телекоммуникаций.

В странах СНГ действует Межгосударственный совет по стандартизации, метрологии и сертификации (МГС) Содружества Независисых Государств (Euro Asian Interstate Council for Standardization, Metrologyand Certification). МГС является межправительственным органом СНГ по формированию и проведению согласованной политики по стандартизации, метрологии и сертификации. Рабочим органом МГС является Бюро по стандартам в составе группы экспертов и регионального Информационного центра. При Совете создано 270 межгосударственных технических комитетов по стандартизации. МГС признан ISO- Региональной Организацией по стандартизации как Евразийский Совет по стандартизации, метрологии и сертификации (EASC).

Виды стандартов обеспечения качества

Рассматривая вопросы стандартизации, нельзя не вспомнить о нормативной документации, одной из категорий которой они являются.

Нормативная документация- совокупность официальных документов, регламентирующих на определенном уровне обязательность применения нормативов, стандартов, правил и условий для создания какой-либо продукции или предоставления каких-либо услуг.

В связи с этим стандарты являются лишь одним видом из комплекса нормативных документов.

Стандарт - это нормативный документ, разработанный на основе соглашения, утвержденный признанным органом и направленный на достижение оптимальной степени упорядочения в определенной области. Для всеобщего и многократного использования в стандарте устанавливаются общие принципы, правила, характеристики рекомендательного характера, касающиеся различных видов деятельности или их результатов.

Стандарты разрабатываются по следующим причинам:

  • аккумулируют лучшее из практической деятельности создания продукции (в том числе и разработки программных средств) и позволяют избежать повторения прошлых ошибок;
  • предоставляют необходимую основу для процесса обеспечения качества - достаточно контролировать соблюдение стандартов при реализации проектов, чтобы обеспечить требуемый уровень характеристик создаваемого продукта;
  • позволяют упорядочить процесс разработки, что делает разработку прозрачной и снижает затраты на обучение профессиональной деятельности в конкретной предметной области при ротации кадров.

Классификационная модель комплекса стандартов определяет деление стандартов на виды.

Вид стандарта-характеристика, которая определяется его содержанием в зависимости от объекта стандартизации.

Основные виды стандартов установлены действующим стандартом ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения». К ним относятся следующие виды стандартов:

 

  • стандарты основополагающие;
  • стандарты на продукцию;
  • стандарты на услуги;
  • стандарты на процессы (работы);
  • стандарты на методы контроля;
  • стандарты на термины и определения.

Основополагающий стандарт

Основополагающий стандарт- стандарт, имеющий широкую область распространения и (или) содержащий общие положения для определенной области. Такой вид может применяться непосредственно в качестве стандарта или служить основой для разработки других стандартов и иных нормативных или технических документов.

Существует два подвида основополагающих стандартов - организационно-методические и общетехнические.

При стандартизации организационно-методических и общетехнических объектов устанавливаются положения, обеспечивающие техническое единство при разработке, производстве, эксплуатации продукции и оказании услуг. 

 

К таким процессам относятся, например, следующие:

  • организация работ по стандартизации;
  • разработка и постановка продукции на производство;
  • правила оформления информационно-библиографической, технической, управленческой документации;
  • общие правила обеспечения качества продукции.

Основополагающие организационно-методические стандарты устанавливают общие организационно-технические положения по проведению работ в определенной области (например, ГОСТ Р 1.2-2004 «Стандартизация в Российской Федерации. Правила разработки, утверждения, обновления и отмены»).

Основополагающие общетехнические стандарты устанавливают:

  • научно-технические термины, многократно используемые в науке, технике, производстве;
  • условные обозначения различных объектов стандартизации коды, метки, символы (например, ГОСТ 14192-96 «Маркировка грузов»);
  • требования по обеспечению единства измерений (ГОСТ Р 8.000-2000 «Государственная система обеспечения единства измерений») и проч.

 Стандарт на продукцию

Стандарт на продукцию устанавливает требования, которым должна удовлетворять продукция или группа однородной продукции, с тем чтобы обеспечить ее соответствие своему назначению.

На продукцию разрабатываются следующие основные подвиды стандартов:

  • стандарт общих технических условий, который должен содержать общие требования к группам однородной продукции;
  • стандарт технических условий, определяющий требования к конкретной продукции.

Указанные стандарты в общем случае включают следующие разделы:

  • классификация, основные параметры и (или) размеры;
  • общие технические требования;
  • правила приемки;
  • маркировка, упаковка, транспортирование, хранение.

По группам однородной продукции могут разрабатываться стандарты узкого назначения:

  • стандарты технических требований;
  • стандарты правил приемки;
  • стандарты правил маркировки, упаковки, транспортирования и хранения.

Технические условия на создаваемую продукцию (ТУ) имеет двойное назначение - технического и нормативного документа. 

В соответствии с ГОСТ 2.114 технические условия разрабатываются на конкретное изделие, материал, вещество и другие виды продукции. Этот документ может также разрабатываться на несколько конкретных изделий, материалов, веществ - это характерно для групповых ТУ.

Технические условия являются очень распространенным документом, они составляются на многие конкретные марки и модели товаров. Типичными объектами выпуска на основе ТУ являются изделия, выпускаемые мелкими сериями, изделия часто изменяющегося ассортимента, изделия на основе новых рецептур или технологий. В отличие от стандартов ТУ разрабатываются в короткие сроки, что позволяет оперативно организовать выпуск новой продукции.

 

Технические условия, как правило, содержат следующие разделы:

  • технические требования (ТТ);
  • требования безопасности;
  • требования охраны окружающей среды;
  • правила приемки;
  • методы контроля;
  • транспортирование и хранение;
  • указания по эксплуатации;
  • гарантии изготовителя.

В соответствии со статусом документа ТТ не должны противоречить положениям государственных стандартов. Несмотря на то, что ТУ утверждает непосредственно разработчик продукции, вопросы соблюдения требований государственных стандартов и соответствия им возлагаются на самого составителя документа.

Стандарт на процесс

Стандарт на процесс устанавливает требования к выполнению различного рода работ на отдельных этапах ЖЦ продукции или услуги (разработка, изготовление, хранение, транспортирование, эксплуатация, утилизация) для обеспечения их технического единства и оптимальности.

В частности, такие стандарты могут включать требования к методам автоматизированного проектирования продукции, модульного конструирования, принципиальным схемам технологического процесса изготовления продукта, технологическим режимам или нормам. Особое место занимают требования безопасности для жизни и здоровья людей при осуществлении технологических процессов, которые могут конкретизироваться по отношению к использованию определенного оборудования, инструмента, приспособлений и вспомогательных материалов.

На современном этапе большое значение приобретают стандарты на управленческие процессы в рамках систем обеспечения качества продукции (услуг) - управление документацией, закупками продукции, подготовкой кадров и проч. Данные стандарты имеют особое значение при постановке систем менеджмента качества.

 

Сегодняшние компании, предоставляющие различного рода услуги, борются за получение сертификата ISO, подтверждающего наличие на предприятии поставленной системы менеджмента качества. Наличие данного сертификата означает высокий уровень проработки процессов при предоставлении услуг. Для клиентов и заказчиков таких компаний свидетельство о качестве процессов на предприятии исполнителя служит гарантией надежности в получении услуг требуемого качества.

Стандарт на методы контроля

Стандарт на методы контроля прежде всего должен обеспечивать всестороннюю проверку всех обязательных требований к качеству продукции (услуги). Устанавливаемые в стандартах методы контроля должны быть объективными, точными и обеспечивать воспроизводимые результаты.

Выполнение этих условий в значительной степени зависит от наличия в стандарте сведений о погрешности измерений и других характеристик, предусмотренных комплексом стандартов, выполненных на основе международных стандартов ИСО. Точность измерений является той мерой, которая может гарантировать доверие к результатам испытаний, поэтому весьма высок уровень требований к средствам измерений.

Необходимо применять стандартизованные методы контроля, испытаний, измерений и анализа, поскольку они базируются на международном опыте и передовых достижениях. Каждый из методов имеет свою специфику, связанную с конкретным объектом контроля. Стандарт обычно рекомендует несколько методик контроля применительно к одному показателю качества продукта. Это нужно для того, чтобы одна из предлагаемых методик была выбрана в качестве арбитражной, если возникает необходимость в решении спорных вопросов. Правда, надо иметь в виду, что не всегда методики полностью взаимозаменяемы. Для таких случаев стандарт приводит либо четкую рекомендацию по условиям выбора того или иного метода, либо данные по их отличительным характеристикам.

 

Для каждого метода контроля в зависимости от специфики его проведения устанавливаются:

  • средства испытаний и вспомогательные устройства;
  • порядок подготовки к проведению испытаний;
  • порядок проведения испытаний;
  • правила обработки результатов испытаний;
  • правила оформления результатов испытаний;
  • допустимую погрешность испытаний.

Основные требования, входящие в состав таких стандартов, указываются часто в программах испытаний, формируемых для проведения этапов сдачи созданных продуктов в эксплуатацию.

Стандарты могут быть узкого назначения, в которых предусматривается проверка одного показателя качества (например, стандарт на метод определения паропроницаемости чистошерстяных и полушерстяных тканей). Могут формироваться и стандарты широкого назначения, в которых устанавливаются требования к проверке комплекса показателей (по аналогии с предыдущим примером - стандарт на методы испытаний шелковых и полушелковых штучных изделий).

Практика обязательной сертификации продукции вызвала необходимость разработки стандартов смешанного вида- стандартов на продукцию и методы контроля, в частности стандартов на требования безопасности к продукции (услуге) и методы контроля безопасности. Пример: ГОСТ 25779 «Игрушки. Общие требования к безопасности и методы контроля». Особенно актуальным стало использование таких стандартов в последние годы, когда некоторые производители в погоне за прибылью сочли для себя возможным снизить уровень требований при выпуске продукции до такой степени, что некоторые виды продукции стали угрожать здоровью потребителей.

Стандарт на услугу, терминологический стандарт

Стандарт на услугу устанавливает требования, которым должна удовлетворять группа однородных услуг (услуги туристские, услуги транспортные) или конкретные услуги (классификация гостиниц, грузовые перевозки) с тем, чтобы обеспечить соответствие услуги ее назначению.

Стандарт на термины и определения -стандарт, устанавливающий термины, к которым даны определения, содержащие необходимые и достаточные признаки понятия. Терминологические стандарты выполняют одну из главных задач стандартизации - обеспечение взаимопонимания между всеми сторонами, заинтересованными в объекте стандартизации.

Принципы стандартизации

Являясь одним из элементов технического регулирования, стандартизация базируется на ряде базовых исходных положений - принципов, которые отражают основные закономерности процесса разработки стандартов, обеспечивают достижение целей и задач развития стандартизации, определяют условия ее эффективной реализации.

 

1. Принцип добровольного применения стандартов.

В контексте Закона «О техническом регулировании» добровольность стандартов рассматривается не только как главный принцип стандартизации, но и основной элемент, определяющий правовой статус стандартов в Российской Федерации как документов, не имеющих обязательного характера и применяемых исключительно на добровольной основе. Однако, говоря о добровольности стандартов, необходимо учитывать следующие положения:

  • требования, предусмотренные в стандартах, приобретают обязательную силу, если изготовитель той или иной продукции добровольно решил следовать им, указав на это, например, при маркировании продукции;
  • нельзя исключить возможность обязательного применения стандартов как в целом, так и отдельных положений, если это напрямую указано в договорах и контрактах. Если стороны договора выразили свое согласие придать требованиям того или иного стандарта обязательную силу, то исполнение этих требований будет обязательным для обеих сторон. Такое положение соответствует общим нормам Гражданского кодекса РФ о договорах и обязательствах (в том числе об их исполнении).

Таким образом, принцип добровольного применения стандартов указывает на право изготовителя (а также продавца и исполнителя) добровольно (т. е. по собственному желанию, без принуждения) возложить на себя ответственность за выполнение требований, предусмотренных в стандартах. Добровольность - это возможность выбора.

Разработка и применение межгосударственных стандартов осуществляется в соответствии с требованиями ГОСТ Р 1.8-95 «Государственная система стандартизации РФ. Порядок разработки и применения межгосударственных стандартов». Постановление Госстандарта России от 27 июня 2003 г. № 63 признало национальными стандартами действующие государственные и межгосударственные стандарты, введенные в действие до 1 июля 2003 г. для применения в Российской Федерации. В соответствии с этим же постановлением до вступления в силу вновь разработанных соответствующих правил, норм и рекомендаций по стандартизации признано целесообразным сохранить для действующих государственных и межгосударственных стандартов и разрабатываемых национальных стандартов условные обозначения «ГОСТ» и «ГОСТ России».

К настоящему времени уже сложилось мнение, что принцип добровольного применения стандарта нужно было бы сформулировать по-другому. В стандартизующих документах стран Европы добровольность обозначена более корректно: рекомендуется к применению. По европейскому законодательству и на практике нет понятия «добровольность»: если осуществляется деятельность в той или иной сфере, то все, что рекомендуется для этой сферы, должно использоваться полностью.

В США, где стандарты являются добровольными регламентирующими документами, в случае судебного разбирательства при нарушении контракта суды констатируют: данная компания пренебрегла национальным стандартом. И с этого момента, можно быть уверенным, с ней ни одна фирма не заключит ни одного контракта. Таким образом рынком регулируются партнерские отношения.

В Российской Федерации обязательность применения и исполнения требований документов по стандартизации оборонной продукции в отношении объектов стандартизации установлена Постановлением Правительства РФ от 30 декабря 2016 г. № 1567 «О порядке стандартизации в отношении оборонной продукции (товаров, работ, услуг) по государственному оборонному заказу, продукции, используемой в целях защиты сведений, составляющих государственную тайну или относимых к охраняемой в соответствии с законодательством Российской Федерации иной информации ограниченного доступа, продукции, сведения о которой составляют государственную тайну, а также процессов и иных объектов стандартизации, связанных с такой продукцией».

2. Принцип максимального учета законных интересов заинтересованных лиц при разработке стандартов.

Объективный учет мнений при разработке стандартов обеспечивает возможность удовлетворения необходимых потребностей всех заинтересованных в этом сторон. Разработка национальных стандартов должна выполняться открыто с участием технических комитетов по стандартизации. Такие комитеты объединяют на добровольной основе наиболее компетентных юридических и физических лиц, заинтересованных в стандартизации того или иного объекта. Учет мнений заинтересованных сторон при разработке национальных стандартов достигается в результате процедуры публичного обсуждения проекта стандарта. При обсуждении принимаются во внимание все замечания, поскольку участвующие в обсуждении стороны абсолютно равноправны, и сближаются несовпадающие точки зрения. При разработке стандартов организации, кроме того, должны обеспечиваться условия для свободного участия в обсуждении проектов стандартов представителей заинтересованных структурных подразделений организации. При разработке стандартов организации на продукцию, поставляемую на внутренний или внешний рынок, на работы, выполняемые сторонней организацией, или на оказываемые ею на стороне услуги, следует учитывать мнение и представителей других организаций, заказчиков или приобретателей поставляемой продукции, выполняемых работ и оказываемых услуг.

3. Принцип применения международного стандарта как основы разработки национального стандарта.

Применение этого принципа ограничивается случаями, если такое применение признано невозможным ввиду несоответствия требований международных стандартов климатическим и географическим особенностям Российской Федерации, техническим или технологическим особенностям или по иным основаниям либо Российская Федерация в соответствии с установленными процедурами выступала против принятия международного стандарта или отдельного его положения.

Международные стандарты отражают передовой опыт экономически развитых стран мира, результаты научных исследований, требования широкого круга потребителей и государственных органов и представляют собой правила, общие принципы или характеристики для большинства стран, поэтому применение международных стандартов при разработке национальных стандартов является одним из важных условий вывода отечественной продукции на мировой рынок.

В связи с этим преимущественное использование международных стандартов как составной части (а иногда и основы) разработки национальных стандартов должно иметь место, за исключением случаев, когда такое применение признано невозможным.

Данный принцип в целом отражает положения абз. 1 п. 8 ст. 7 Закона «О техническом регулировании» с той разницей, что при разработке проектов технических регламентов международные стандарты должны использоваться полностью или частично в качестве их основы. При этом долженствование подразумевает обязательность. В рассматриваемом принципе такая обязательность не предусматривается.

4. Принцип недопустимости создания препятствий производству и обращению продукции, выполнению работ и оказанию услуг в большей степени, чем это минимально необходимо для выполнения целей стандартизации.

Этот принцип указывает на невозможность установления в стандартах требований к продукции, связанным с ней процессам, а также работам и услугам, которые могут создать дополнительные барьеры, ограничивающие свободу предпринимательской деятельности.

Подобные случаи означают возможность появления препятствий к достижению целей стандартизации либо могут даже противоречить им. Это может происходить, например, при установлении необоснованных ограничений или завышенных требований.

5. Принцип недопустимости установления таких стандартов, которые противоречат техническим регламентам.

Одной из целей стандартизации является содействие соблюдению требований технических регламентов. Соответственно этой цели стандарты могут дополнять, конкретизировать (но не дублировать) какие-либо требования технических регламентов, обеспечивая тем самым повышение минимально установленного в них уровня безопасности, но никак не противоречить им.

6. Принцип обеспечения условий для единообразного применения стандартов.

Это положение следует воспринимать с учетом положений абз. 2 п. 2 ст. 15 Закона «О техническом регулировании». В соответствии с этими положениями национальные стандарты подлежат применению равным образом и в равной мере независимо от страны или места происхождения объектов технического регулирования, а также выполнения работ и оказания услуг, видов или особенностей сделок и лиц, являющихся изготовителями, исполнителями, продавцами, приобретателями.

В стандартах организаций могут содержаться сведения, составляющие коммерческую тайну (секрет производства). Применение таких стандартов лицами, не являющимися работниками организации, разработавшей и утвердившей стандарт, может осуществляться только с согласия самой организации на договорной основе. Кроме того, порядок разработки, утверждения, учета, изменения и отмены стандартов организаций устанавливается ими самостоятельно. В соответствии с этим не всегда просто обеспечить условия для единообразного применения стандартов организаций. Единообразие в применении может проявляться в том случае, если стандарты организаций разработаны, например, в рамках холдинга или акционерного общества, имеющего несколько дочерних обществ. В таком случае входящие в их состав общества будут равным образом и в равной мере применять утвержденные головной организацией стандарты.

Интересно отметить, что ранее в Законе РФ «О стандартизации» было напрямую указано, что государственные (ныне - национальные) стандарты, а также стандарты отраслей не являются объектом авторского права (п. 4 ст. 6). В отношении стандартов предприятий (ныне - стандартов организаций) и стандартов научно-технических, инженерных обществ и других общественных объединений такой оговорки сделано не было.

В Концепции развития национальной системы стандартизации в качестве принципов стандартизации вместе с уже указанными принципами выступают следующие:

  • обеспечение преемственности работ по стандартизации в Российской Федерации;
  • обоснованность разработки национальных стандартов;
  • открытость процессов разработки национальных стандартов;
  • обеспечение доступности национальных стандартов и информации о них для пользователей;
  • однозначность понимания всеми заинтересованными сторонами требований, включаемых в национальные стандарты;
  • прогрессивность и оптимальность требований национальных стандартов;
  • применение требований национальных стандартов в контрактах, заключаемых между изготовителем и потребителем.

Следует обратить внимание на то, что в этой Концепции в качестве первостепенного указан принцип добровольного применения национальных стандартов и обязательности их соблюдения в случае принятия решения об их использовании.

Стандарты разработки информационных систем

Процесс стандартизации разработки информационных систем ведется практически с самого начала использования вычислительной техники. В современном движении к развитому обществу одним из необходимых условий является создание мощной инфраструктуры, в которой интегрированы вычислительные, информационные и коммуникационные ресурсы. Создание таких интегрированных систем, технологий и услуг может быть связано с возможной проблемой сопряжения технических и других средств, что приводит к непроизводительным затратам, связанным, например, с проблемой переучивания персонала при освоении новых средств. Особенно это проявляется при совершенствовании систем, необходимости включения новых компонентов, появлении новых поколений технических средств и программного обеспечения, при их тиражировании и повторном использовании.

При создании информационных систем должны рационально использоваться типовые, унифицированные и стандартизованные элементы, проектные решения, пакеты прикладных программ, комплексы, компоненты. Информационные системы и их компоненты стараются разрабатывать таким образом, чтобы они подходили к возможно более широкому кругу задач. Игнорирование этого принципа приводит к тому, что, несмотря на традиционный перечень задач и алгоритмов их решения, на каждом предприятии такие системы пытаются разрабатывать самостоятельно, что приводит к неоправданному расходу трудовых, материальных и финансовых ресурсов, а также времени.

Стандарты ISO являются наиболее известными и распространенными в мире. Они достаточно универсальны, их можно применять в качестве моделей независимо от отрасли, в которой функционирует организация. Вследствие этого у модели ISO есть свои неоспоримые преимущества и недостатки. Однако основным преимуществом модели ISO является известность, распространенность, признание на мировом уровне. Сейчас стандарты ISO являются обязательным минимумом, который должна иметь любая организация, существующая на рынке. При этом необходимо отметить, что вследствие своей универсальности модель на основе стандартов ISO серии 9000 получилась достаточно «высокоуровневой», т. е. обобщенной, недостаточно детализированной. Поэтому для построения полноценной системы качества, основанной на модели ISO, следует использовать большое количество вспомогательных отраслевых и ISO стандартов.

Несмотря на распространенность международных стандартов, все же необходимо руководствоваться прежде всего российскими нормативными документами, среди которых до сих пор действующими являются и те, которые были разработаны и приняты еще в советское время. К таким стандартам в сфере разработки информационных систем относятся стандарты ГОСТ серий 34.

Стандарты ГОСТ серии 34

Тридцать четвертым ГОСТом на жаргоне ИТ-специалистов называется совокупность взаимосвязанных стандартов, которые имеют номер, начинающийся на 34: ГОСТ 34.602-89, 34.003-90, 34.603-92, 34.201-89, 34.601-90, 34.698-90, 34.320-96, 34.321-96, а также руководящий документ РД 50-34.698-90 и два стоящих особняком стандарта, относящихся к узкоспециальной теме криптозащиты - ГОСТ 34.10-01 и ГОСТ 34.11-94.

Все эти стандарты появились в конце 80-х - начале 90-х годов (год выпуска обозначен числом после дефиса), заменив или дополнив более ранние стандарты 19-й и 24-й серий.

Чтобы понять и оценить логику, содержащуюся в семействе ГОСТ 34, проанализируем содержание составляющих его стандартов более подробно. Ориентированные на ИТ-специалистов ГОСТ 34.320-96 "Концепции и терминология для концептуальной схемы и информационной базы", ГОСТ 34.321-96. "Эталонная модель управления данными", ГОСТ 34.10-01 "Криптографическая защита информации. Процессы формирования и проверки электронной цифровой подписи" и ГОСТ 34.11-94 "Криптографическая защита информации. Функция хэширования" я рассматривать не буду, поскольку они рассчитаны не на управленцев, а на технических специалистов. Для нас интерес представляют следующие стандарты:

ГОСТ 34.201-89. "Виды, комплектность и обозначение документов при создании автоматизированных систем";

ГОСТ 34.003-90 "Термины и определения";

ГОСТ 34.602-89 "Техническое задание на создание автоматизированной системы";

ГОСТ 34.603-92 "Виды испытаний автоматизированных систем";

ГОСТ 34.601-90 "Автоматизированные системы. Стадии создания";

Руководящий документ РД 50-34.698-90 "Автоматизированные системы. Требования к содержанию документов".

Стандарт ГОСТ 34.201-89

Серьезно устаревший, но отчасти пригодный для использования стандарт (ГОСТ 34, 1989а). Устанавливает соответствие документов стадиям создания АС1, описанным в ГОСТ 24.601 (впоследствии заменен на ГОСТ 34.601). По составу документов и стадиям проекта можно проследить происхождение стандарта из практики строительства.

Очевидно, проектная природа строительства и деятельности по созданию информационной системы навела авторов стандарта на мысль распространить основные формы организации строительных проектов на проекты создания информационных систем. Отчасти это оказалось удобно - такие документы, упомянутые в стандарте, как "Техническое задание", "Эскизный проект", "Технический проект", "Инструкция" (пользователя), "Программа и методика испытаний" прочно вошли в практику создания систем. С другой стороны, "Ведомость машинных носителей информации", "Каталог базы данных" или "Ведомость держателей подлинников" вряд ли сейчас имеют смысл. Стандарт включает также элементы практики делопроизводства в виде правил кодирования документов.

Короче говоря, при "творческом" подходе он может еще послужить, особенно в тех организациях, где проектная деятельность регулируется аналогичными проектно-ориентированными стандартами, а состав проектных документов близок к тому, что предлагает ГОСТ 34.201-89.

 Стандарт ГОСТ 34.601-90

Один из наиболее применяемых до сих пор стандартов (ГОСТ 34, 1990), определяющий стадии и этапы создания автоматизированной системы. Приведенная ниже таблица является центральной в стандарте.

Практически все перечисленные стадии и этапы до сих пор встречаются в практике создания информационных систем предприятий и организаций. Конечно, можно критиковать стандарт за негибкость в части последовательности и названий стадий и этапов, но факт остается фактом - он продемонстрировал исключительную живучесть, и понять, в чем причина этого, гораздо важнее, чем заниматься критикой разработки более 30-летней давности.

Мне кажется, что стандарт демонстрирует точное соответствие своим целям. Во-первых, он не требует знаний в области ИТ и, следовательно, понятен обычным управленцам.

Во-вторых, он компактен и прост по структуре, что позволяет человеку, не знакомому с ним, быстро войти в курс дела.

В-третьих, он самодостаточен - практически никаких ссылок на смежные документы в нем нет (за исключением ГОСТ 34.201).

И наконец, он практичен - сразу понятно, как его применять и как контролировать его применение.

Помимо вышеприведенной таблицы ГОСТ 34.601-90 содержит справочное Приложение 1 с поэтапной расшифровкой работ, включая указание на документы, возникающие в результате этих работ, а также Приложение 2 - "Перечень организаций, участвующих в работах по созданию АС".

Это подсказывает способ адаптации стандарта к конкретным условиям: достаточно переработать Приложения, и получится вполне разумный корпоративный стандарт на создание ИС. Причем опять-таки эта работа под силу обычному управленцу.

Требование "подготовить Техническое задание в соответствии с ГОСТ 34.602-89", знакомо, наверное, каждому, кто хоть однажды участвовал в заказной разработке ИС или ее приемке, да и вообще всем, кто так или иначе связан с информационными системами. Некоторые разработчики до сих пор считают хорошим тоном помнить наизусть состав Технического задания (ТЗ) в соответствии с ГОСТ 34.602-89.

Общие сведения.

Назначение и цели создания (развития) системы.

Характеристика объектов автоматизации.

Требования к системе.

Состав и содержание работ по созданию системы.

Порядок контроля и приемки системы.

Требования к составу и содержанию работ по подготовке объекта автоматизации к вводу системы в действие.

Требования к документированию.

Источники разработки.

Попробуем разобраться в причинах неизменной популярности этого стандарта, возраст которого перевалил уже за 30 лет. Собственно, весь стандарт представляет собой расшифровку перечисленных девяти пунктов. Размер его - всего 11 страниц, но объем сообщаемой полезной информации на удивление велик. Если выбросить явные архаизмы, вроде существовавших когда-то фондов алгоритмов и программ, окажется, что практически все, о чем идет речь, полностью применимо до сих пор. Вот пример одного из разделов.

2.6.2. В подразделе "Требования к функциям (задачам)", выполняемым системой, приводят:

по каждой подсистеме перечень функций, задач или их комплексов (в том числе обеспечивающих взаимодействие частей системы), подлежащих автоматизации;

при создании системы в две или более очереди - перечень функциональных подсистем, отдельных функций или задач, вводимых в действие в 1-й и последующих очередях;

временной регламент реализации каждой функции, задачи (или комплекса задач);

требования к качеству реализации каждой функции (задачи или комплекса задач), к форме представления выходной информации, характеристики необходимой точности и времени выполнения, требования одновременности выполнения группы функций, достоверности выдачи результатов;

перечень и критерии отказов для каждой функции, по которой задаются требования по надежности".

Приведенный отрывок демонстрирует иерархичность стандарта: система состоит из подсистем, комплексов задач, отдельных задач, функций. Чем точнее и подробнее сформулированы требования, тем более предсказуемым будет результат. Специально формулируются требования к функциям взаимодействия подсистем (сейчас мы бы сказали "к методам интеграции"), функции привязываются к плану-графику реализации системы (который тем самым также становится иерархическим). Специально упомянуты требования к качеству. Форма представления выходной информации, т.е. совокупность отчетов, также заслужила отдельного упоминания. Одним словом, представленный отрывок показывает, что разработка Технического задания в соответствии с ГОСТ 34.602-89 - непростая и очень трудоемкая работа, накладывающая серьезные обязательства не только на разработчика, но и на заказчика системы. Потенциал стандарта чрезвычайно велик, и неудивительно, что популярность его остается неизменно высокой на протяжении стольких лет.

С течением времени стали видны и оборотные стороны стандарта:

стандарт ориентирован на полностью заказную разработку системы "с нуля" и не рассчитан на внедрение готового решения с помощью типовой методологии или на комбинацию заказных разработок и внедрений;

стандарт предлагает одну-единственную модель жизненного цикла системы, называемую каскадной, когда все работы по созданию системы линейно упорядочены и этот порядок заранее определен;

стандарт имеет слишком формальный характер. На практике это приводит к появлению Технических заданий, по форме удовлетворяющих требованиям ГОСТ 34.602-89, но, по сути, малосодержательных.

Стоит подчеркнуть, что, как и ГОСТ 34.601-90, ГОСТ 34.602-89 не требует специальной подготовки в области информационных технологий, поэтому контролировать соответствие ему Технического задания может обычный управленец, в задачу которого входит, например, взаимодействие с субподрядчиками. Это упрощает внедрение и практическое применение стандарта.

Другое интересное явление, которое продемонстрировала практика, состоит в том, что, как оказалось, далеко не каждый ИТ-специалист способен разработать Техническое задание, удовлетворяющее требованиям стандарта. Фактически появление ГОСТ 34.602-89 стимулировало возникновение новых специалистов - бизнес-аналитиков и консультантов в сфере информационных технологий, основной работой которых стали разработка и согласование Технических заданий с заказчиками автоматизированных систем.

Компактный и прозрачный стандарт (ГОСТ 34, 1992), устанавливающий последовательность испытаний готовой информационной системы, цели и результаты испытаний. Широко применяется на практике, обладая теми же достоинствами, что и ГОСТ 34.601-90, - лаконичностью, доступностью для неспециалиста в ИТ, самодостаточностью. Понятия и термины стандарта стали общепринятыми в российском ИТ-сообществе.

Стандарты разработки программного обеспечения

Стандартизация разработки программного обеспечения регламентируется довольно обширной серией документов, относящихся к комплексу Единой системы программной документации, объединенной совокупностью ГОСТ серии 19.

Единая система программной документации (ЕСПД) - отечественный комплекс стандартов на программную документацию. В профессиональном просторечии его еще называют «девятнадцатым ГОСТом», что не совсем правильно, поскольку речь идет не об одном, а примерно о 30 разных нормативно-технических документах, объединенных единой серией стандартов.

В основном стандарты требования ЕСПД содержат к составу, содержанию и оформлению документов, описывающих программное средство на разных стадиях его жизненного цикла. Кроме того, несколько документов посвящено порядку хранения и обновления документации.

Стандарты ЕСПД практически лишены методической составляющей. Они не объясняют разработчику, как надо писать документацию, чтобы она получилась полезной, понятной, информативной, удобной... Они предоставляют разработчику только перечень типов документов и список разделов первого уровня для каждого из них. Однако надо отметить, что для каждого раздела есть уточнения, какие сведения должны быть в нем изложены.

Стандарты ЕСПД были приняты в конце 1970-х гг. и дошли до нас в виде, близком к первоначальному. В них отражена практика работы ведомственных вычислительных центров, где эксплуатировались большие ЭВМ. Взаимодействие человека с компьютерной системой тогда было построено совсем не так, как теперь, и осуществлялось через громоздкие пульты, перфокарты и распечатки, а для «простых смертных», решающих прикладные задачи, еще и при непосредственном участии квалифицированного персонала. Ведь только в середине 1980-х гг. появились диалоговые системы отладки и выполнения программ вместе с появлением вычислительных машин серии ЕС. Надо ли объяснять, насколько эти стандарты к настоящему времени устарели? И все-таки ими продолжают активно пользоваться. Формально «девятнадцатой серии» есть современная альтернатива. Переведены на русский язык и приняты в России на правах национальных некоторые стандарты ИСО в области системной и программной инженерии. Однако крупные (в том числе и государственные) заказчики переходить на них не торопятся. Это можно объяснить их верностью традиционным методам формирования требований.

Каждый стандарт ЕСПД при достаточно небольшом объеме представляет собой набор довольно формальных и поэтому легко проверяемых требований к документу или к комплекту документации. Строго говоря, это не мешает разработчику документации писать нелепости, хотя и правильно оформленные, в полном соответствии со стандартом. Однако поскольку стандарт ЕСПД четко определяет, из чего должен состоять и как должен выглядеть результат, мы можем, проверив документацию, представленную исполнителем, исключить документы, которые не соответствуют требованиям стандарта. Это существенно упрощает задачу сдачи-приемки документации как для заказчика, так и для исполнителя.

Стандарты ИСО (в отличие от документов ЕСПД) содержат достаточное количество разумных правил именно содержательного характера, но совершенно не позволяют сформировать процесс приемки документации, поэтому сложно представить себе процедуру их формальной проверки. Впрочем, никто не мешает применять оба ряда стандартов одновременно, тем более что они касаются разных аспектов документирования и практически не противоречат друг другу.

ГОСТ 19.101-77 определяет виды программ и программных документов. Так, под комплексом понимается «программа, состоящая из двух или более компонентов и (или) комплексов, выполняющих взаимосвязанные функции, и применяемая самостоятельно или в составе другого комплекса», а под компонентом - «программа, рассматриваемая как единое целое, выполняющая законченную функцию и применяемая самостоятельно или в составе комплекса». В данном документе указано, какая документация должна разрабатываться на разных стадиях разработки программного обеспечения.

ГОСТ 19.102-77 «Стадии разработки» устанавливает перечень и характеристику стадий разработки программ и программной документации для вычислительных машин, комплексов и систем независимо от их назначения и области применения. В этом нормативном документе более детально определены стадии и этапы работ по созданию программного обеспечения, а также указано содержание работ на каждом этапе.

ГОСТ 19.404-79 «Пояснительная записка. Требования к содержанию и оформлению» определяет требования к содержанию и оформлению программного документа «Пояснительная записка», определенного ГОСТ 19.101-77 и входящего в состав документации на стадиях разработки эскизного и технического проекта программы. Определяется содержание разделов документации, описывающей созданный программный продукт. Например, устанавливается, что раздел «Технические характеристики» должен содержать следующие подразделы:

  • постановка задачи на разработку программы, описание применяемых математических методов и, при необходимости, описание допущений и ограничений, связанных с выбранным математическим материалом;
  • описание алгоритма и (или) функционирования программы с обоснованием выбора схемы алгоритма решения задачи, возможные взаимодействия программы с другими программами;
  • описание и обоснование выбора метода организации входных и выходных данных;
  • описание и обоснование выбора состава технических и программных средств на основании проведенных расчетов и (или) анализов, распределение носителей данных, которые использует программа.

ГОСТ 19.002-80 устанавливает правила выполнения схем алгоритмов и программ. Вполне понятно, что знание этого стандарта полезно разработчикам и в современных условиях, потому что данный нормативный документ распространяется на алгоритмы и программы программного обеспечения вычислительных машин, комплексов и систем независимо от их назначения и области применения и устанавливает правила выполнения схем алгоритмов и программ, выполняемых автоматическим способом или от руки.

К основным недостаткам ЕСПД можно отнести следующие:

  • ориентацию на единственную, «каскадную» модель ЖЦ программы;
  • отсутствие четких рекомендаций по документированию характеристик качества;
  • отсутствие связей с другими действующими отечественными системами стандартов, например с Единой системой конструкторской документации (ЕСКД);
  • плохо выраженный подход к документированию программы как товарной продукции (в современных условиях это было бы актуально, поскольку уже давно разрабатываемые программные продукты являются достаточно продаваемой и покупаемой продукцией);
  • отсутствие рекомендаций по внутреннему документированию, как, например, экранные меню, справка по работе с программой и т. д.;
  • отсутствие рекомендаций по составу, содержанию и оформлению документов на программу, согласованных с международными и региональными стандартами.

Из этого можно сделать вывод, что отказываться от ЕСПД нет оснований, но ЕСПД нуждается в существенном пересмотре (например, на основе стандарта ИСО/МЭК 12207-95). Специалисты в области стандартизации считают, что кроме ЕСПД в официальной нормативной базе РФ в области документирования программ и в смежных областях есть ряд перспективных стандартов, например международный стандарт ISO/IEC 12207: 1995-08-01 на организацию жизненного цикла продуктов программного обеспечения.

В то же время, несмотря на свои недостатки, многие стандарты ЕСПД могут до сих пор с пользой применяться для документирования программных средств по следующим основаниям:

  • стандарты ЕСПД вносят порядок в организацию процесса документирования программного обеспечения;
  • предусмотренный стандартами ЕСПД состав программных документов можно несколько видоизменять, внося в комплект документации дополнительные виды документов. Это очень полезное качество, позволяющее разработчику дополнять документацию необходимыми сведениями с характеристикой особенностей создаваемого программного обеспечения;
  • стандарты ЕСПД позволяют изменять структуру и содержание документации исходя из конкретных требований заказчика и пользователя.

При этом заказчик и исполнитель проекта вправе совместно принять для конкретного проекта такое подмножество стандартов и такой состав документации, чтобы исключить ненужные и дополнить необходимые разделы, согласовать создание этих документов с той схемой, которая используется в конкретном проекте.

 Проблемы стандартизации в современных условиях

По мнению специалистов в области стандартизации, это направление деятельности в качестве одного из элементов технического регулирования в условиях рыночной экономики может обеспечить вклад в экономический рост, превышающий соответствующие показатели от внедрения патентов и лицензий. По данным экспертов, в Германии, например, треть ежегодного экономического прироста относилась к эффекту от применения стандартов.

О масштабах и эффективности работ по стандартизации свидетельствует следующий факт, оценивающий экономический эффект этого направления. Когда общая сумма вложений промышленности и правительственных организаций в различные виды деятельности, связанные с разработкой и применением стандартов, в США достигала 70 млрд. долл. в год, прибыль могла достичь отдачи в 1000 %.

Однако проблемы стандартизации в России не позволяют получить такие потрясающие результаты.

Современные проблемы стандартизации можно охарактеризовать следующими положениями:

  • Низкий динамизм стандартизации. При общем объеме в 24 600 стандартов его ежегодное обновление должно составлять минимум 3,5^1 тыс. стандартов. В последнее время максимальное число пересмотренных и вновь утвержденных стандартов составило около 900 единиц в год. Фонд стандартов стремительно стареет, и при этом нет ясной перспективы ускорения темпов этой работы. Планирование стандартизации осуществляется в годовом разрезе, в то время как в Японии действует система планирования на двух горизонтах: 5-10-летнего и годового планирования. При разработке стандартов не учитываются прогнозы развития науки и техники, хотя Академия стандартизации, метрологии и сертификации имеет материалы прогнозирования с глубиной 30 лет. Другая сторона низкого динамизма - недостаточные темпы освоения международных, региональных и национальных стандартов: перевод, редактирование, утверждение, внедрение. Многие международные стандарты, которые были бы полезны в современных условиях, до сих пор не размещены в российских источниках для широкого ознакомления;
  • Слабая работа в области технологической стандартизации. Работы по стандартизации и внедрению передовых технологий взаимно не увязаны. Особенно эффективно такая взаимосвязь действовала бы на предприятиях малого и среднего бизнеса. В современных условиях многие такие предприятия являются проводниками новых идей и перспективных технологий. Яркий пример такой деятельности показывает Национальный институт стандартов и технологии США, осуществляющий национальную технологическую программу преимущественно среди предприятий малого бизнеса;
  • Недостаточно высокое качество работы технических комитетов. Имея глубокие познания в конкретных отраслях деятельности, члены комитетов слабо знакомы с теорией и практикой международной и отечественной стандартизации. Этот пробел может быть нивелирован с помощью дополнения составов технических комитетов специалистами в области стандартизации. Аналог возможности достижения положительного эффекта - использование знаний профессиональных патентоведов при оформлении заявок на изобретения, которым известны все нюансы этой достаточно непростой работы;
  • Необходимость восстановления утерянных в последние десятилетия служб по стандартизации на предприятиях. Достаточно длительное время в организациях и на предприятиях было снижено внимание к разработке внутренних стандартов и регламентации деятельности. Тем не менее в последние годы интерес к такому виду деятельности вновь возрождается в том или ином виде. В компаниях появляются специалисты в области менеджмента качества, в числе руководящих работников можно уже увидеть директоров по качеству. А это означает, что процесс восстановления процессов стандартизации и управления качеством в компаниях понемногу прогрессирует.

Вопросы для самоконтроля

1. Как определить понятие сертификации?

2. Какие цели преследует сертификация продукции?

3. Что относится к объектам сертификации?

4. Какой правовой документ регламентирует процедуру сертификации?

5. Что включает в себя понятие правового регулирования?

6. Что является центральным органом по сертификации в России?

7. Кто относится к участникам сертификации?

8. Каков порядок проведения сертификации, установленный Росстандартом?

9. Какие действия осуществляются при проведении сертификации?

10.Каковы особенности сертификации программного обеспечения?


©  «Эксклюзивные интернет-решения для бизнеса»
© www.oknemuan.ru
2003-2024